原创 （七）Spark——Structured Streaming
目錄一、Structured Streaming 概述二、Structured Streaming 快速入門1. 導入依賴2. 具體實現3. 測試結果4. 代碼說明三、Structured Streaming 編程模型1. 基本概
2020-06-21 23:48:57
原创 （二）HDFS——節點分析及新特性
目錄一、NameNode和SecondaryNameNode1.NN和2NN工作機制2.Fsimage 和 Edits解析3.CheckPoint時間設置4.NameNode故障處理5.集羣安全模式6.NameNode多目錄配置二
2020-06-21 23:48:57
1
原创 （六）Spark——Spark Streaming
目錄一、Spark Streaming 概述1. Spark Streaming是什麼2. Spark Streaming特點3. Spark Streaming 架構3.1 背壓機制二、DStream 入門1. WordCoun
2020-06-21 23:48:57
原创 （一）Flume概述及快速入門
目錄一、Flume概述1. Flume定義2. Flume基礎架構2.1 Agent2.2 Source2.3 Sink2.4 Channel2.5 Event二、Flume快速入門1. Flume安裝部署1.1 安裝地址1.2
2020-06-21 23:48:57
原创 可視化工具 DBeaver6.1.5 連接Hive和Phoenix教程
目錄一、連接Hive說明步驟二、連接Phoenix 一、連接Hive 說明 直接使用bin/hive 進去hive操作hive着實不方便，所以這裏採用 DBeaver 可視化軟件連接hive。 需要該軟件可以直接去官網下，或者直接
2020-06-21 23:48:57
原创 （一）Spark——基礎
目錄一、Spark 概述1. 什麼是Spark2. Spark 特點3. Spark 內置模塊介紹二、Spark 部署模式1. 下載Spark2. 集羣角色2.1 Master 和 Worker2.1.1 Master2.1.2
2020-06-21 23:48:57
原创 Flink實時計算狀態編程案例——實時統計當天下載量排名（Java實現）
一、需求簡單概述 1. 原因： 估計看到這篇文章的人都會覺得統計每天的下載量排名這個需求聽起來就是T+1的離線批處理需求，其實我也是這麼覺得的，所以爲什麼要寫這個呢？其實這是以前的需求，以前是實時統計的需求，但是排名什麼的
2020-05-15 21:21:54
原创 Spark先進行過濾再讀取MongoDB數據庫
目錄一、官方連接器 Spark Connector二、使用Hadoop格式讀取MongoDB數據1. 實現2. 出現的錯誤 一、官方連接器 Spark Connector 本來MongoDB官方提供了Spark 連接 Mong
2020-05-01 09:38:51
原创 （一）Scala語言——入門
目錄一、Scala 入門1. 概述1.1 爲什麼學習Scala1.2 Scala 發展歷史1.3 Scala 和 Java 關係1.4 Scala 語言特點2. Scala 環境搭建3. Scala 插件安裝3.1 插件在線安
2019-09-09 07:23:07
原创 （二）Scala語言——函數式編程
目錄一、函數式編程1. 函數基本語法2. 函數和方法的區別3. 函數聲明和函數參數4. 函數至簡原則5. 高階函數6. 匿名函數6.1 高階函數和匿名函數的使用案例7. 閉包和函數柯里化8. 遞歸調用9. 控制抽象10. 惰性函數
2019-09-09 07:23:07
原创 虛擬機上的Hadoop僞分佈式和完全分佈式的搭建
目錄一、Hadoop1.Hadoop的組成1.1HDFS架構概述1.2YARN架構概述1.3MapReduce架構概述二、Hadoop的搭建1.運行環境1.1安裝JDK1.2安裝Hadoop2.僞分佈式運行模式2.1配置文件說明2
2019-09-03 07:24:45
原创 Zookeeper
目錄一、Zookeeper 入門1. 概述2. 特點3. 數據結構4. 應用場景5. 下載地址二、ZooKeeper 安裝1. 本地模式安裝部署2. ZooKeeper 的四字命令3. 配置參數解讀三、ZooKeeper 內部原理
2019-09-03 07:24:45
原创 （一）深入學習MapReduce——MapReduce概述與Hadoop序列化
目錄一、MapReduce概述1.MapReduce定義2.MapReduce優缺點2.1優點2.2缺點3.MapReduce核心思想4.MapReduce進程5.常用數據序列化類型6.MapReduce編程規範7.WordCou
2019-09-03 07:24:45
原创 採用Druid以及DButils簡單連接數據庫
目錄一、簡單介紹二、步驟1. 創建數據表2. 根據數據表創建一個實體類：3. 編寫配置文件4. 編寫工具類5. 進行CRUD操作 一、簡單介紹 首先導入三個jar包： mysql-connector-java-5.1.37-b
2019-09-03 07:24:45
原创 （一）HDFS的認識及使用Java對其的簡單操作
目錄一、HDFS概述1.優點2.缺點3.HDFS組成架構4.HDFS文件塊大小二、HDFS的Shell操作三、HDFS客戶端操作1.環境準備2.HDFS的API操作3.HDFS的I/O流操作四、HDFS的數據流1.HDFS寫數據流
2019-09-03 07:24:45