原创 Spark集成Kafka源碼分析——SparkStreaming從kafak中接收數據
整體概括：要實現SparkStreaming從kafak中接收數據分爲以下幾步(其中涉及的類在包org.apache.spark.streaming.kafka中)： 1.創建createStream()函數，返回類型爲ReceiverI
2020-06-16 14:51:45
原创 Kafka生產者消費者java示例（包含Avro序列化）
文章內容包含Kafka未進行序列化生產消費java示例，和使用Avro序列化數據進行生產和消費的示例，掌握這些之後就對Kafka的生產消費有基本開發基礎。 1.未序列化 生產者示例： import java.util.Propertie
2020-06-16 14:51:45
原创 CDH5.8 HBase安裝Phoenix
1、phoenix的簡介 hbase的java api或者其語法很難用，可以認爲phoenix是一箇中間件，提供了訪問hbase的另外的語法。本文檔
2020-06-16 14:51:45
原创 Linux Shell的遇到的知識點1
&後臺執行 && 邏輯與 前邊命令成功才執行後邊命令 || 邏輯或 前邊命令不成功才執行後邊命令 | mkdir -p dir 創建該目
2020-06-16 14:51:45
原创 struct streaming+Kakfa消費者讀取單條記錄過長問題
使用struct streaming讀kafak數據，fetch數據過大，報錯日誌如下： 20/06/06 11:40:01 org.apache.spark.internal.Logging$class.logError(Loggin
2020-06-16 14:51:45
1
原创 關於REST
REST，名詞，一種網絡架構規範，同上。 RESTful，形容詞，指實現了 REST規範的系統，如實現了REST規範的Web API就叫RESTful API。 REST 指的是一組架構約束條件和原則。滿足這些約束條件和原則的應用
2020-02-22 18:58:53
原创 IntelliJ Idea 常用快捷鍵列表
【常規】 Ctrl+Shift + Enter，語句完成“！”，否定完成，輸入表達式時按 “！”鍵Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以關閉文件Ctrl+[ OR ]，可以跑到大括
2020-02-22 18:58:43
原创 RocketMQ使用Avro序列化生產者消費者java示例
使用avro序列化生產者示例: </pre><pre name="code" class="html">import java.io.ByteArrayOutputStream; import java.io.IOException;
2020-02-22 18:58:43
原创 使用QJM構建HDFS HA架構(2.2+)
本文主要介紹HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性實現HDFS HA。 一、背景 HDFS集羣中只有一個Namenode，這就會引入單點問題；即如果Namenode
2020-02-22 18:58:43
原创 hadoop執行jar流程分析
項目要結束了，最近在整理項目的相關文檔，之前項目中在用hadoop jar **.jar提交作業時，設置了些公共依賴jar包到CLASSPATH中，這樣算子在打包時就不需要把很多jar包再打進去離開 。在hadoop-env.sh中和ma
2020-02-22 18:58:43
原创 Hadoop提交Job Client端源碼分析
在之前分析了hadoop執行jar的流程分析（博客鏈接http://blog.csdn.net/a822631129/article/details
2020-02-22 18:58:43
原创 實現CDH支持Spark SQL功能
CDH內嵌spark版本不支持spark-sql,可能是因爲cloudera在推自己的impala；如果上線spark卻不能使用sql這種結構化語言，對於大部分分析人員其實是很不爽的！so，就手動實現支持spark-sql的功能吧 1.
2020-02-22 18:58:43
原创 Hadoop常見錯誤及解決辦法
1，錯誤一：java.io.IOException: Incompatible clusterIDs 時常出現在namenode重新格式化之後 2014-04-29 14:32:53,877 FATAL org.apache.hadoop
2020-02-22 18:58:43
7
原创 Hadoop的hadoop-config.sh腳本詳解
先簡要說明下我的讀該腳本的環境，集羣是CDH5.3，在研究命令行中hadoop -jar ***.jar命令的相關腳本時，在hadoop文件中追到了hadoop-config.sh這個文件，所以下邊的註解添加了我當前情況的處理。 thi
2020-02-22 18:58:43
原创 在安裝過Kafka集羣的環境中再次安裝Kafka出現的問題
使用ClouderaManager安裝Kafka，啓動Kafka時出現問題： 1. 2015-11-26 13:51:21,952 INFO kafka.log.LogManager: Loading log '.gnome2' 2015
2020-02-22 18:58:43