原创 Eclipse各版本代號一覽表以及官網上有很多版本的eclipse的比較

Eclipse各版本代號一覽表 Eclipse的設計思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加於Eclipse核心之上。 Eclipse基本內核包括:圖形API(SWT/Jface),Java開發環境插件(

原创 查看hdfs的fsimage和editlog

(一)名稱解釋 fsimage,namenode的元數據鏡像文件,保存在磁盤 editlog,namenode操作日誌 fstime,最近一次的checkpoint時間 metadata,一個文件存儲在哪些DataNode節點的哪些位置的

原创 Hbase和Mysql文件互相導入

以下的步驟都是我實驗成功後的記錄下來的,只記錄了大體的步驟,由於環境的差異,可能導致你的操作並不一定會成功!不要機械的式的複製,要結合你本機的環境去處理。對於配置選項,有些我也不擡理解,待理解之後再來補充。 實驗環境: Linux 16

原创 Kafka Consumer的兩種接口(高階低階)

Kafka Consumer接口 對於kafka的consumer接口,提供兩種版本,   high-level 一種high-level版本,比較簡單不用關心offset, 會自動的讀zookeeper中該Consumer group的

原创 Storm集羣搭建

環境準備hadoop102                               hadoop103                        hadoop104zk                               

原创 Spark編程之基本的RDD算子之join,rightOuterJoin, leftOuterJoin

1) joindef join[W](other: RDD[(K, W)]): RDD[(K, (V, W))] def join[W](other: RDD[(K, W)], numPartitions: Int): RDD[(K, (