原创 ZooKeeper系列 (一)ZooKeeper基本簡介與命令和集羣環境搭建

ZooKeeper分佈式應用協調服務: 文章目錄ZooKeeper分佈式應用協調服務:ZooKeeper架構:ZooKeeper角色:ZooKeeper數據結構:--每個zookeeper節點數據一樣ZooKeeper選舉機制:Z

原创 Hadoop系列 (一) 補--Hadoop完全分佈式環境搭建

文章目錄完全分佈式搭建集羣準備集羣規劃修改配置文件(3臺機器都要修改)啓動集羣時間同步 完全分佈式搭建 集羣準備 準備3臺客戶機(關閉防火牆、靜態ip,主機映射、主機名稱),主機名稱分別hadoop2,hadoop3,hadoo

原创 Hadoop系列 ( 三 ) MapReduce存在的意義----MapReduce究竟做了些什麼??

寫在前面: 我是「nicedays」,一枚喜愛做特效,聽音樂,分享技術的大數據開發猿。這名字是來自world order樂隊的一首HAVE A NICE DAY。如今,走到現在很多坎坷和不順,如今終於明白nice day是需要自

原创 Scala系列 (二)Scala數組----超詳細常用方法及其用法

寫在前面: 我是「nicedays」,一枚喜愛做特效,聽音樂,分享技術的大數據開發猿。這名字是來自world order樂隊的一首HAVE A NICE DAY。如今,走到現在很多坎坷和不順,如今終於明白nice day是需要自

原创 Sqoop系列(一)通過sqoop將關係型數據遷移到HBase和Hive上

Sqoop數據遷移: 什麼是sqoop? sqoop是用在Hadoop和關係數據庫之間傳輸數據的工具 將數據從RDBMS導入到HDFS HDFS導出數據RDBMS 使用MapReduce導入和導出數據,提供並行操作和容錯

原创 HBase系列(三)HBase物理架構與工作流程詳解--收藏這一份就夠了!!!

文章目錄HBase物理架構:HMaster:HMaster的主要作用:--負責table和region管理工作HRegionServer:1.HLog ----簡直和NN的editlog還有mysql的log文件一毛一樣2.HRe

原创 Scala系列 (一)Scala基本簡介與基礎知識

寫在前面: 我是「nicedays」,一枚喜愛做特效,聽音樂,分享技術的大數據開發猿。這名字是來自world order樂隊的一首HAVE A NICE DAY。如今,走到現在很多坎坷和不順,如今終於明白nice day是需要自

原创 Hive系列(六)Hive內置函數與自定義函數(總結)--自從有了UDF--我:就這??

文章目錄Hive函數:Hive函數分類:`從輸入輸出角度分類:``從實現方式分類:`Hive內置函數:Hive的UDF:-user-defined functionJAVA操作過程:HiveUDAF:用戶自定義聚合函數:-user

原创 HBase系列(四)HBase的shell基本操作

HBase–shell操作: 創建HBase表: 創建簡單表: create '表名', {NAME => '列簇名1'},{NAME => '列簇名2'}...... # 簡寫版 create '表名', '列簇名1','列簇

原创 HBase系列(一)HBase簡明好用的安裝教程

文章目錄HBase安裝:第一步:上傳linux第二步:修改配置文件第三步:啓動HBase HBase安裝: 第一步:上傳linux 文中tar包到此鏈接自行下載 鏈接:https://pan.baidu.com/s/1v2jFM_

原创 HBase系列(二)NoSQL數據庫簡介與HBase基本簡介

文章目錄NoSQL:什麼是NoSQL?:NoSQL和關係型數據庫對比:NoSQL的特點:NoSQL的相關概念:NoSQL分類:NoSQL和BI大數據的關係:HBase:Hbase特點:Hbase應用場景:Hbase物理架構具體劃分

原创 ElasticSearch簡介和linux下安裝配置環境+對數據增刪改查

文章目錄一:ElasticSearch簡介ElasticSearch:(solr與Lucene與其類似)二:ElasticSearch優缺點:優點:缺點:三:ElasticSearch用法ElasticSearchCRUD:四:l

原创 KMP算法詳解與實現和next數組的代碼化總結----看過的人都理解了!!

KMP2年前反覆看的時候,對next數組和基本原理,記一遍忘一遍,最近要用到字符串匹配得問題,要造輪子的時候又想到它了,這次好好整理一遍,要再次深刻的理解一遍。 文章目錄KMP--簡介傳統匹配KMP優化next數組的求法 KMP–

原创 shell腳本自動化創建虛擬機的基本配置--tomcat--mysql--jdk--maven---媽媽再也不用擔心我不會配置虛擬機了!

文章目錄自動化shell腳本一:虛擬機初始化二:jdk自動化安裝三:maven自動化安裝四:tomcat自動化安裝五:mysql自動化安裝 自動化shell腳本 ps:此處安裝的jdk,maven,tomcat均在/opt目錄下,

原创 機器學習:迴歸預測連續與離散的深度剖析----看完完全理解了迴歸是什麼東西了!

文章目錄迴歸的預測完整過程前提:1.線性迴歸與非線性迴歸概念(1):什麼是迴歸(regression)?(2):什麼是線性(linear)?一:建立迴歸方程1.簡單迴歸---多項式迴歸---非線性迴歸簡單迴歸多項式迴歸非線性迴歸二