原创 一鍵啓動Zookeeper教程
1. 編寫腳本 #! /bin/bash case $1 in "start"){ for i in node01 node02 node03 do ssh $i "/opt/module/zookeeper-3.4.
2020-06-25 12:52:45
原创 DataGrip連接Hive教程
1. 從官網下載安裝包 下載網址 2. 安裝 第一步 第二步 第三步 第四步 3. 安裝完成後輸入激活碼 使用安裝idea的圖 datagrip 與此類似 4. 配置Hive 第一步 第二步 第三步 可以在虛擬
2020-06-25 12:52:45
原创 HBase 面試題
文章目錄HBase的基本介紹HBASE的適用場景Hbase和Hadoop之間的關係Hbase與RDBMS的關係Hbase特徵簡要說明hbase的基礎架構HBase的底層原理HBase的表數據模型Row Key列族Column Fa
2020-06-25 12:52:45
原创 HBase 的集羣環境搭建
注意事項：HBase強依賴zookeeper和hadoop，安裝HBase之前一定要保證zookeeper和hadoop啓動成功，且服務正常運行 第一步: 下載對應的HBase的安裝包 所有關於CDH版本的軟件包下載地址如下: 下
2020-06-25 12:52:45
原创 Sqoop安裝步驟
前提： 安裝 sqoop 的前提是已經具備 java 和 hadoop 的環境 建議使用版本: 1.4.6 (最新最穩定版) 1. 上傳安裝包並解壓 2. 修改配置文件 $SQOOP_HOME 爲你解壓到路徑 [root@node
2020-06-25 12:52:45
原创 大數據介紹及大數據項目流程
1. 什麼是大數據？ 字面意思理解：大量的數據，海量的數據 數據集的大小已經遠遠超過了現有普通數據庫軟件和工具的處理能力的數據 2. 大數據有什麼特點？ 1.海量化 數據量大（多）
2020-06-25 12:52:45
原创 Kafka 高效讀寫數據的原因
文章目錄1. 順序寫磁盤2. 分段日誌 + 索引文件3. 零拷貝4. Page Cache5. 批量發送6. 數據壓縮 1. 順序寫磁盤 Kafka的producer生產數據，要寫入到log文件中，寫的過程是一直追加到文件末端，爲
2020-06-12 17:39:34
原创 Spark 的兩種 Shuffle
文章目錄1. HashShuffle1. 優化前2. 優化後2. SortShuffle1. 普通運行機制2. bypass運行機制 1. HashShuffle 1. 優化前 1. shuffle write階段，主要就是在一
2020-05-31 15:32:13
原创 Redis -- 高頻面試題
文章目錄1. Redis 默認數據庫數量2. Redis是單線程的，爲什麼那麼快3. 原子性4. List5. Redis的事務定義6. Multi、Exec、discard7. 悲觀鎖和樂觀鎖8. WATCH 與 unwatch
2020-05-31 15:32:13
原创 Kafka 一鍵啓動腳本教程
1. 編寫腳本 #! /bin/bash case $1 in "start"){ for i in node01 node02 node03 do echo "
2020-04-18 20:02:22
原创 Kafka 基本介紹
文章目錄1、 什麼是kafka2、kafka的使用場景3、 kafka優缺點4、Kafka架構（流程）5、Kafka架構（API）6、Topic內部有哪些組成？7、分區和消費組內的消費者之間的關係有哪些情況？8、分區數、消費者與讀
2020-04-18 20:02:22
原创 Redis -- JavaAPI基本操作
文章目錄1. 導入 pom 文件2. 連接以及關閉redis客戶端3. 操作string類型數據4. 操作hash列表類型數據5. 操作list類型數據6. 操作set類型的數據 1. 導入 pom 文件 <dependenci
2020-04-18 20:02:22
原创 Redis 的基本操作
文章目錄1. redis當中對字符串string的操作2. redis當中對hash列表的操作3. redis當中對list列表的操作4. redis操作set集合5. redis中對key的操作 1. redis當中對字符串st
2020-04-18 20:02:22
原创 Yarn 簡介
文章目錄1. 什麼是Yarn ？2. Yarn 特點3. Yarn基本組成4. Yarn提交任務的流程5. Yarn的調度 1. 什麼是Yarn ？ Yarn -- 通用資源管理系統和調度平臺 2. Yarn 特點 1、支持多計
2020-04-18 20:02:22
原创 kafka 集羣環境搭建
文章目錄1. 初始化環境準備2. 下載安裝包並上傳解壓3. node01服務器修改kafka配置文件4. 安裝包分發到其他服務器上面去5. node02與node03服務器修改配置文件6. kafka集羣啓動與停止 1. 初始化環
2020-04-18 20:02:22