原创 IDEA2016 maven項目配置Junit
添加插件：File->Settings->Plugins 設置生成模式：File->Settings->Other Settings 修改模板：File->Settings->Other Settings->Junit Ge
2018-09-04 19:54:54
原创 spark streaming檢查點使用
import org.apache.spark._ import org.apache.spark.streaming._ /** * Created by code-pc on 16/3/14. */ object Pi {
2018-09-04 19:54:53
原创 hue中使用oozie的workflow執行mr
workflow創建任務 進入hue–Workflows–編輯器–workflow–創建 拖一個mapreduce作業（在頁面靠近頂端有一排選項圖標）到頁面中間虛線框中 Jar路徑必須是hdfs中jar包路徑 添加屬性： key:m
2018-09-04 19:54:53
原创 sqoop導出mysql數據進入hive錯誤
看mr的運行顯示：sqoop job可以獲得的select max(xxx)結果，但是當mr開始時卻顯示大片錯誤，就是連接超時，和連接重置等問題， 最後去每個節點ping mysql的ip地址，發現 root@hslave1:/opt/
2018-09-04 19:54:52
原创 非mapreduce生成Hfile，然後導入hbase當中
轉自：http://blog.csdn.net/stark_summer/article/details/44174381 未實驗 最近一個羣友的boss讓研究hbase，讓hbase的入庫速度達到5w+/s，這可愁死了，4臺個人電腦組
2018-09-04 19:54:52
3
原创 mac一些設置
Mac自帶了的JDK6，安裝在目錄：/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8則需要自己到Oracle官網下載安裝對應的版本。自己安裝的JDK默認路徑爲：/Lib
2018-09-04 19:54:50
原创 HBase配置性能調優
因官方Book Performance Tuning部分章節沒有按配置項進行索引，不能達到快速查閱的效果。所以我以配置項驅動，重新整理了原文，並補充一些自己的理解，如有錯誤，歡迎指正。 配置優化 zookeeper.session.tim
2018-09-04 19:54:44
1
原创 由於ip改變重新配置CM集羣
修改所有主機/etc/hosts 修改所有agent節點的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini，中server的ip 主節點啓動cm server 從節點啓動agent
2018-09-04 19:54:44
原创 編譯CDH的spark1.5.2
手動安裝mvn大於3.3.3版本 下載解壓，修改~/.bash_rc export MAVEN_HOME=/usr/local/apache-maven-3.3.9 export PATH=$MAVEN_HOME/bin:$PATH 安
2018-09-04 19:54:44
原创 搭建sparksql的hive測試環境
sbt依賴 name := "Pi" version := "1.0" scalaVersion := "2.10.6" libraryDependencies++= Seq( "org.apache.spark" %% "spa
2018-09-04 19:54:43