原创 hbase無法正常啓動問題
在完全分佈式環境下，hbase啓動時無法正常啓動，logs日誌中拋出異常信息org.apache.hadoop.hbase.ClockOutOfSyncException此問題是由於master和RegionServer節點的時間不一致導致
2019-07-19 14:08:38
原创 MapReduce作業性能調優參數
Map端參數調整參數名稱類型默認值說明io.sort.mbint100Map階段內存緩存區大小，默認100Mio.sort.record.percentfloat0.05io.sort.mb有5%保存記錄邊界，其他緩存用來保存數據io.so
2019-07-19 14:08:38
原创 Tachyon的安裝、配置和使用
0. 前言在上一篇博文《Tachyon簡介》中，我們簡要地介紹了Tachyon，一個以內存爲中心的分佈式文件系統，及其一些基本工作原理。這一次，我們重點介紹如何在你自己的單機或集羣環境下去安裝、配置和使用Tachyon。具體地，會從怎樣編譯
2019-02-22 16:18:52
1
原创 storm安裝
1、實驗環境： centos6.4 jdk1.8.0 CDH-5.3.2-1 storm0.9.32、準備條件 yum install libtool yum install gcc-c++ yum
2019-02-22 16:18:40
2
原创 Tachyon簡介
1. Tachyon是什麼Tachyon（/'tki:n/ 意爲超光速粒子）是以內存爲中心的分佈式文件系統，擁有高性能和容錯能力，能夠爲集羣框架（如Spark、MapReduce）提供可靠的內存級速度的文件共享服務。Tachyon誕生於UC
2019-02-22 16:18:39
原创 flume
Flume OGFlume OG主要由上圖幾個組件組成：Agent、Collector、Master、HDFSAgent： 主要用於採集數據，通常是由source和sink兩部分組成。其中Source用於獲取數據，Sink將Sourc
2019-02-22 16:18:37
原创 hadoop問題彙總
1、啓動journalnode時存在警告信息，sbin/hadoop-daemon.sh stop journalnodestarting journalnode, logging to /app/hadoop-2.2.0/logs/had
2019-02-22 16:18:37
原创 HBase簡介
一、簡介 HBase是基於列存儲、構建在HDFS上的分佈式存儲系統，其主要功能是存儲海量結構化數據。 HBase構建在HDFS之上，因此HBase也是通過增加廉價的PC機提高系統運行和存儲的能力。 HBase中存儲的表有如
2019-02-22 16:18:37
原创 java.lang.OutOfMemoryError定位內存溢出的對象
在我們的程序運行過程中，經常會因爲各種原因出現OutOfMemoryError的錯誤，而如何定位是由哪個對象溢出，可通過以下方法進行查看1、查找JVM運行的任務號 ps aux |grep ${pid} 或 jps -m |grep
2018-09-11 03:33:16
原创 Jamon模板語言簡介
項目中需要扒一段hbase webUI頁面的內容，hbase webUI頁面訪問地址10.x.x.x:60010/master-status，跟蹤代碼後發現，此web頁面使用了一個jamon的模板語言，這個做個簡單介紹。既然是模塊語言，都不
2018-09-11 03:33:16
原创 sparkstreaming源碼分析
做個筆記，記錄streaming任務執行的整個流程，下文使用的源碼是master分支的代碼，1.2.1版本已經發布，應該和1.2.1差別不大1、streaming程序是從StreamingContext.start()開始的，做一個必要的參
2018-09-11 03:33:16
原创 centos6.4使用本地yum源安裝cloudera manager 5.3.0和cdh5.3.0
1、準備工作 三個節點 192.168.56.110 cdh1 192.168.56.111 cdh2 192.168.56.112 cdh3 關閉所有節點防火牆 service iptables stop chkconfig iptabl
2018-09-11 03:33:16
3
原创 Tachyon簡介
1. Tachyon是什麼Tachyon（/'tki:n/ 意爲超光速粒子）是以內存爲中心的分佈式文件系統，擁有高性能和容錯能力，能夠爲集羣框架（如Spark、MapReduce）提供可靠的內存級速度的文件共享服務。Tachyon誕生於UC
2018-09-11 03:33:16
原创 jmxtrans安裝使用
實驗環境1、下載jmxtrans下載地址：https://github.com/jmxtrans/jmxtrans/downloads2、安裝jmxtrans#判斷是否已安裝此軟件 #rpm -qa |grep jmx #卸載軟件 #rpm
2018-09-11 03:33:16
6