原创 redis安裝流程

1、安裝依賴包 yum -y install gcc gcc-c++ libstdc++-devel tcl 2、獲取安裝文件並解壓文件 tar -zvx -f redis-3.2.4.tar.gz 3、進入目錄 cd redi

原创 kafka報錯解決

錯誤一: 解決辦法: 啓動kafka集羣 錯誤二: test - marked for deletion 解決辦法: [zk: localhost:2181(CONNECTED) 0] ls /admin/delet

原创 kudu架構

課程鏈接: http://edu.51cto.com/course/15174.html 特點:   High availability(高可用性)。Tablet server 和 Master 使用 Raft Consensus

原创 cloudera manager5.11.0離線安裝詳細步驟

第一步: (下載安裝包) cm5.11.0 bin包 http://archive.cloudera.com/cm5/installer/5.11.0/ cm5.11.0 依賴的rpm包 http://archive.c

原创 superset安裝步驟

Superset目前使用Python 2.7和Python 3.4+進行測試。 推薦Python 3,不支持Python 2.6。 第一步:下載依賴包 yum install gcc gcc-c++ libffi-devel py

原创 jupyter的python2和python3共存解決方案

效果圖: 解決辦法: 安裝anaconda3 點擊Anaconda Navigator 第一步:查看安裝了那些包 conda list 第二步:在安裝python3的基礎上新建一個python2.7的環境 conda c

原创 cloudera manager報錯解決方案

問題1 錯誤提示: cloudera-scm-agent 已死,但 pid 文件仍存 解決辦法: [root@node1 ~]# cd /var/run/ [root@node1 run]# rm -rf cloudera-

原创 flume報錯解決

問題一: Failed writing positionFile Java.lang.OutOfMemoryError:Java heap space 解決辦法:增大jvm初始化內存和最大可用內存 export JAVA_

原创 cloudera manager安裝hive各種坑解決方案

問題一 (Hive元數據庫編碼異常) 問題描述: 解決方案: ##設置hive數據庫編碼爲latin1 mysql > alter database hive character set latin1; 問題二 (J

原创 cloudera manager的agent的ip地址改變解決方案

1、首先在安裝cloudera-manager的主機上,啓動所有的cloudera管理進程 [root@node1 ~]# /etc/init.d/cloudera-scm-server-db status [root@node

原创 kudu1.5.0新特性

課程鏈接: http://edu.51cto.com/course/15174.html ##New features 1、tablet servers現在在啓動的時候可以容忍磁盤故障,這個功能是實驗性,默認情況下,如果遇到磁盤故

原创 kudu性能調優

課程鏈接:http://edu.51cto.com/course/15174.html 1、Kudu Tablet Server Maintenance Threads 解釋:Kudu後臺對數據進行維護操作,如寫入數據時的併發線程

原创 cloudera manager和cdh升級流程

1、停止所有服務 service cloudera-scm-agent stop (所有服務) 2、升級server端 注意:關閉所有的postgresql服務 ps -ef | grep postgre* kill -9 * 查

原创 spark源碼分析之內核架構篇

第一步: 在一臺具有spark安裝包上的機器,通過spark-submit提交Spark程序,也就是我們的Application,通過反射機制創建一個DriverActor的進程(這裏所說的提交方式爲standalone模式

原创 flume1.7.0新功能taildir日誌採集

第一步:解壓縮 [root@service_es3 conf]# tar -zvx -f flume-ng-1.6.0-cdh5.11.0.tar.gz 第二步:修改conf的env文件 [root@service_es3 so