原创 Hadoop+Spark+Zookeeper高可用集羣搭建（五）
文章目錄1. 前言2. 準備工作3. 配置Spark系統變量3.1 配置Spark 和 Scala 系統變量3.2 配置Spark環境變量3.3 配置Spark工作節點4. 啓動Spark集羣4.1 在三個Slave節點上啓動ZK
2019-10-26 06:54:38
原创 Spark概述（一）
文章目錄1. Spark Overview2. Spark框架原理3. Spark大數據處理4. RDD數據集4.1 迭代模式的自動切換4.2 執行步驟的可恢復性4.3 故障作業的高可靠性4.4 故障數據的高度容錯5. Spark
2019-10-26 06:54:38
原创 Spark框架的基本原理（二）
文章目錄1. Spark運行模式1.1 standalone1.2 yarn1.3 Spark Cluster2. Spark運行流程及特點3. RDD運行流程 1. Spark運行模式 Spark的運行模式多種多樣，靈活多變，有
2019-10-26 06:54:38
原创 搭建Kubernetes多節點集羣
文章目錄1. 實驗環境2. 系統網絡配置3. 修改節點Hostname4. 關閉防火牆、SeLinux、Swap分區5. 設置docker和k8s的yum源5.1 docker源的配置5.2 k8s源的配置6. 安裝並配置dock
2019-10-26 06:54:38
原创 Flume實例：監控本地文件夾並寫入到HDFS中（四）
文章目錄1. 配置文件介紹2. 準備工作3. 開始測試 1. 配置文件介紹 下面我將以官方文檔中給出的一個例子介紹一下FLume的配置文件。 它描述了一個單節點Flume部署。該配置允許用戶生成事件，然後將它們記錄到控制檯。 #
2019-10-26 06:54:38
原创 基於k8s1.16搭建flink集羣（二）
文章目錄1. 實驗環境2. 集羣搭建2.1 k8s1.16 版本的 Yaml 配置2.1.1 JobManager Yaml 配置2.1.2 TaskManager Yaml 配置2.1.3 JobManagerServices
2019-10-26 06:54:38
原创 Flume集羣搭建（二）
文章目錄1. 前言2. 下載解壓3. 安裝配置4. 分發驗證 1. 前言 在Flume基本原理與架構中較爲系統的講解了Flume的作用、組件、架構等知識，本篇文章將講解Flume集羣的搭建。Flume框架在jar包上依賴Hadoo
2019-10-26 06:54:38
原创 Flume實例：實時測試客戶端傳輸的數據（三）
文章目錄1. 介紹2. 準備工作3. 測試 1. 介紹 在slave001節點/home/hadoop目錄創建netcat.conf文件，將下列內容插入到netcat.conf，啓動netcat.conf程序用來監聽某個端口，並捕
2019-10-26 06:54:38
原创 MapReduce實現排序（八）
文章目錄1. 前言2. MapReduce實現排序的原理3. 上傳文件4. 代碼實現5. 效果截圖 1. 前言 需求：對輸入文件中的數據進行排序，輸入文件中的每一行均爲一個數字，即爲一個數據。要求在輸出文件中每行輸出兩個數字，第一
2019-09-17 04:57:51
原创 MapReduce實現Join（七）
文章目錄1. 前言2. 需求分析3. 實現原理4. 實現代碼4.1 上傳數據4.2 程序源碼5. 效果截圖 1. 前言 大家應該比較熟悉SQL的Join操作： 爲了得到完整的結果，我們需要從兩個或更多的表中獲取結果，我們就需要執
2019-09-17 04:57:51
原创 MapReduce之RecordReader（五）
文章目錄1. RecordReader概述2. RecordReader的應用2.1 RecordReader的實現步驟2.2 需求分析2.3 上傳測試文件2.4 執行代碼2.5 效果截圖3. 小結 1. RecordReader
2019-09-16 05:24:08
原创 MapReduce的工作原理（一）
文章目錄1. 前言2. MapReduce工作流程3. MapReduce運行機制4. MapReduce流程處理4.1 MapReduce執行過程圖4.2 Split階段4.3 Map階段4.4 Combiner階段4.5 Sh
2019-09-16 05:24:08
原创 MapReduce實現溫度排序（六）
文章目錄1. 任務需求2. 上傳文件3. 實例代碼3.1 實現思路3.2 源代碼4. 運行效果 1. 任務需求 找出每年每月的3個最高溫度時刻並進行降序排列 2. 上傳文件 vi weather 一通亂敲： hadoop
2019-09-16 05:24:08
原创 equals和==的區別
文章目錄1. ==方法1.1 ==概述1.2 代碼實例演示2. equals方法2.1 equals概述2.2 equals特性2.3 代碼實例演示 1. ==方法 1.1 ==概述 JAVA數據類型分爲兩類： 基本數據類型 複合
2019-09-16 05:24:08
原创 HDFS技術之MapFile（十）
文章目錄1. MapFile概述2. MapFile寫操作2.1 寫操作實現步驟2.2 寫操作實現代碼3. MapFile讀操作3.1 讀操作實現步驟3.2 讀操作實現代碼4. 小結 1. MapFile概述 MapFile是排
2019-09-16 05:24:08