原创 Hadoop生態圈（七）：Sqoop
目錄 1 Sqoop簡介 2 工作原理 3 Sqoop安裝 3.1 下載解壓 3.2 修改配置文件 3.3 拷貝JDBC驅動 3.4 驗證Sqoop 3.5 驗證sqoop是否能夠連接上數據庫 4 Sqoop案例 4.1 導入數據 4.1
2020-07-07 02:50:56
2
原创 Hadoop生態圈（三）：MapReduce
目錄 1 MapReduce入門 1.1 MapReduce定義 1.2 MapReduce的優缺點 1.3 MapReduce核心思想 1.4 MapReduce進程（MR） 1.5 MapReduce編程規範 1.6 WordCo
2020-07-07 02:11:34
1
原创 spark學習（四）：共享變量及一些優化
目錄 1.Spark中的共享變量 1.1 廣播變量 1.2 累計器 2. Spark WEBUI 3. 搭建HistoryServer 4.Master HA 1.Spark中的共享變量 在spark程序中，當一個傳遞給Spark操作(例
2020-07-07 02:11:34
原创 Hadoop生態圈（八）：Flume
目錄 1 Flume概述 1.1 Flume是什麼 1.2 Flume組成架構 2 Flume安裝 2.1 下載 2.2 安裝部署 3 案例 3.1 Flume實時讀取目錄文件到HDFS 3.2 Flume實時讀取本地文
2020-07-07 02:11:34
1
原创 Hadoop生態圈（五）：Zookeeper
目錄 1 Zookeeper 1.1 概述 1.2 特點 1.3 數據結構 1.4 應用場景， 1.5 下載地址 2 zookeeper安裝部署 2.1 分佈式安裝部署 2.2 配置參數解讀 3 Zookeeper內部原理 3.1 選舉機
2020-07-07 02:11:34
2
原创 Hadoop生態圈（四）：Yarn
目錄 1 Yarn 1.1 Yarn概述 1.2 Yarn基本結構 1.3 Yarn工作機制 1.4 資源調度器 2 hadoop企業優化 2.1 MapReduce跑的慢的原因 2.2 MapReduce優化方法 2.2.1 數據輸入
2020-07-07 02:11:34
2
原创 hadoop生態圈（一）：hadoop集羣的搭建
目錄 1 hadoop概述 1.1 hadoop是什麼 1.2 hadoop的組成 1.2.1 hdfs架構概述 1.2.2 YARN概述 1.2.3 MapReduce架構概述 1.3 大數據生態體系 1.4 推薦系統架構圖 2 Ha
2020-07-07 02:11:34
2
原创 Hadoop生態圈（二）：HDFS
目錄 1 HDFS的概述 1.1 HDFS的概念 1.2 HDFS優缺點 1.2.1 優點 1.2.2 缺點 1.3 HDFS的架構 1.4 block文件塊的大小 2 HDFS的shell客戶端操作 3 HDFS的java客戶端操作 3
2020-07-07 02:11:34
3
原创 關於springboot2.x 引入spring-cloud-stater-openfeign依賴後依賴錯誤
今天做項目遇到一個奇怪的問題： 在以下spring boot和cloud版本下想要引入netflix feign來實現不同模塊服務之間的調用 <parent> <groupId>org.springf
2019-08-07 17:52:52
4
原创 關於window上出現npm ERR! cb()never called!的錯誤
在運行npm install -g grunt-cli 時，由於時國外的服務器，用於很長時間沒有下載下來，取消重新下載之後報如下錯誤： npm ERR! cb() never called! npm ERR! This is an e
2019-08-02 17:55:18
217
原创 史上最全SQL優化方案
作者1：慘綠少年 https://www.cnblogs.com/clsn/p/8214048.html 作者2:喜歡拿鐵的人 https://zhuanlan.zhihu.com/p/49888088 在進行MySQL的優化之前，必須要
2019-06-10 20:09:59
原创 MySQL索引背後的數據結構及算法原理
摘要 本文以MySQL數據庫爲研究對象，討論與數據庫索引相關的一些話題。特別需要說明的是，MySQL支持諸多存儲引擎，而各種存儲引擎對索引的支持也各不相同，因此MySQL數據庫支持多種索引類型，如BTree索引，哈希索引，全文索引等等。爲
2019-06-10 20:09:59
原创 Spark的Shuffle過程介紹
Shuffle Writer Spark豐富了任務類型，有些任務之間數據流轉不需要通過Shuffle，但是有些任務之間還是需要通過Shuffle來傳遞數據，比如wide dependency的group by key。 Spark中需要S
2019-06-10 20:09:59
3
原创 Hadoop生態圈（十）：Hbase
目錄 1 Hbase概述 1.1 什麼是Hbase 1.2 Hbase特點 1.3 HBase架構 1.4 HBase中的角色 1.4.1 HMaster 1.4.2 RegionServer 1.4.3 其他組件 2 Hbase安裝 2
2019-04-25 23:56:24
原创 Hadoop生態圈（十一）：Storm
目錄 1 Storm概述 1.1 離線計算是什麼？ 1.2 流式計算是什麼？ 1.3 Storm是什麼？ 1.4 Storm與Hadoop的區別 1.5 Storm應用場景及行業案例 1.5.1 運用場景 1.5.2 典型案列 2 Sto
2019-04-25 23:56:24