原创 hbase shell操作
進入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos認證，需要事先使用相應的keytab進行一下認證（使用kinit命令），認證成功之後再使用hbase shell
2018-11-04 00:51:12
原创 maven build 的時候，卡死在Downloading metadata的解決方法
根據這篇文章描述是metadata被鎖住了：https://blog.csdn.net/clementad/article/details/48373607 而window文件鎖住一般是應用佔用了該文件，我自己的問題是本地啓動了工程佔
2018-10-26 23:37:54
1
原创 Java中支持深淺拷貝的第三方庫
深拷貝 1.Apache旗下的Commons-Lang3包有一個序列化的工具SerializationUtils，可以做深拷貝。當然前提是你的類實現了序列化接口。 SerializationUtils.clone(Serializa
2018-09-12 09:20:01
原创 Spark Streaming正確關閉方法
Ｓｐａｒｋ１．６以後 １．配置以下參數 spark.streaming.stopGracefullyOnShutdown＝ｔｒｕｅ 解釋 該參數決定是否需要以Gracefully方式來關閉Streaming程序（詳情請參見SP
2018-08-26 01:04:29
5
原创 初學者有關Hadoop版本選擇的考慮
轉自：https://blog.csdn.net/xiangxizhishi/article/details/75711242 一、前言： 剛開始學習Hadoop時就曾經一直抱怨Hadoop的安裝部署爲什麼這麼麻煩，對於一個新手
2018-08-26 01:04:28
3
原创 Spark Streaming使用checkpoint容錯
一、ｃｈｅｃｋｐｏｔｉｎ說明 流媒體應用程序必須全天候運行，因此必須對與應用程序邏輯無關的故障（例如，系統故障，JVM崩潰等）具有恢復能力。爲了做到這一點，Spark Streaming需要檢查點足夠的信息到容錯存儲系統，以便從故障中
2018-08-26 01:04:23
3
原创 Hbase開發異常記錄
一、java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoo
2018-08-26 01:04:23
12
原创 Executor併發框架——Executors工廠類
開發中主要使用Executors提供的工廠方法創建線程池，返回的線程池都實現了ExecutorService接口。Executors還包括ExecutorService、ScheduledExecutorService、Callabl
2018-08-26 01:04:22
2
原创 如何定位cpu佔用率高的java線程
1.查看cup的使用情況，在Linux下可以使用 top 或者 htop命令 top -u ${用戶} -c top -u devops -c 在命令行提示符執行top命令,輸入大寫P，則結果按CPU佔用降序排序。輸入大寫M，結果按內
2018-08-26 01:04:22
1
原创 MySQL創建用戶與授權
一. 創建用戶 CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 說明： username：你將創建的用戶名 host：指定該用戶在哪個主機上可以登陸，如果是本地用戶可用lo
2018-08-26 01:04:22
3
原创 Sqoop開發錯誤記錄
基於Apache-Sqoop-1.4.6 一、Mysql to Hive 1.2017-10-30 20:19:44,317 [myid:] - WARN [main:TableDefWriter@205] - Column regi
2018-08-26 01:04:22
1
原创 JVM gc日誌分析
一、常用gc日誌配置參數 -XX:+PrintGC #輸出GC日誌 -XX:+PrintGCDetails #輸出GC的詳細日誌 -XX:+PrintGCTimeStamps #輸出GC的時間戳（代表了GC發生的時間，這個數字的含義是從J
2018-08-26 01:04:21
1
原创 kafka常用運維命令
一、broker 在每一臺節點上啓動broker nohup bin/kafka-server-start.sh config/server.properties & 停止 bin/kafka-server-stop.sh con
2018-08-26 01:04:21
原创 kafka Java API開發問題記錄
一、producer 發送消息異常 2018-05-29 17:43:14,153 DEBUG [org.apache.kafka.clients.NetworkClient] - Error connecting to node 273
2018-08-26 01:04:21
3
原创 HBase Shell使用記錄
1.以非交互式運行hbase shell 用法：hbase shell -n 務必轉義HBase命令中的字符，否則shell將會解釋這些字符 例子 echo "describe 'test'"|hbase shell -n 2.文件方式
2018-08-26 01:04:21