原创 livy：scalaClient.submit使用scala api跑wordcount時，看着一切正常，但是spark程序沒跑沒有跑
問題分析：livy 的java API調用行得通，scala API調不通 ，而且一切日誌比對正常，就是不報錯，但是就是不跑! scala代碼參考： import java.io.{File, FileNotFoundException
2020-06-14 04:23:44
原创 spark graphx 圖計算demo,結果展現
spark graphx 圖計算官網實例練習： http://spark.apache.org/docs/latest/graphx-program
2020-06-14 04:23:44
3
原创 cdh5.8.3安裝過程中問題解決方法Error loading MySQLdb和No portmap or rpcbind service
本人操作系統版本：redhat enterprise 6.7版本！ 問題1： 安裝完畢cdh manager後，前臺選擇完畢服務後，測試cdh5 hue 數據庫連接時候報錯： 無法連接:查看後臺日誌報錯： tail -f /opt/cm
2020-06-14 04:23:44
原创 java通過jdbc連接impala和pom.xml以及增查操作
pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:
2020-06-14 04:23:44
原创 cdh5.8.3安裝完畢後，啓動zookeeper一段時間後報錯：節點選舉受限制！Address already in use
查看zookeeper日誌報錯： ERROR org.apache.zookeeper.server.quorum.Leader: Couldn't bind to port 3181 其中一臺cdh1報錯如下： 2016-12-15 1
2020-02-20 21:25:25
原创 maven創建scala項目：spark-streaming項目使用
1）安裝包下載 apache-maven-3.3.9.zip archetype-catalog.xml 2）安裝 apache-maven-3.3.9.zip 解壓到目錄：D:\softinstall\apache-maven-3.3.
2020-02-20 21:25:14
原创 sqoop從oracle導入數據導hive表不支持的數據類型
sqoop從oracle導入數據導hive表不支持的數據類型： sqoop語句實例： sqoop import-all-tables --connect jdbc:oracle:thin:@ip:1521:orcl --usernam
2020-02-20 21:25:14
原创 使用plsql連接oracle一樣，使用ClouderaImpalaODBC32.msi工具連接impala的方法！
想要使用plsql連接oracle一樣，使用類似工具連接impala的方法： ClouderaImpalaODBC32.msi 下載地址：http://www.cloudera.com/downloads/connectors/impa
2020-02-20 21:25:14
原创 cdh 當某個服務磁盤滿了，無法啓動cloudera-scm-agent或cloudera-scm-server
問題描述：一開始不知道是磁盤慢了，於是想重啓下一下 cloudera-scm-agent start。提示磁盤滿了。於是清理磁盤後，在重啓，就發現，報錯！無法重啓！！！！報個錯誤也是莫名其妙，重來沒遇到過！就幾個字。。。。感覺是亂碼一樣。
2019-01-17 22:12:45
原创 實時處理程消費kafka異常：ERROR kafka.server.ReplicaManager
問題描述： 實時處理程序：streaming消費kafka一段時間後，報錯：ERROR kafka.server.ReplicaManager: [Replica Manager on Broker 105]: Error process
2019-01-12 12:59:50
5
原创 idea連接coding無法提交無法更新問題：Fetch failed: Authentication failed for
如果提交時出現問題：提示沒有反應，沒有可提交的文件或報錯： Fetch failed: Authentication failed for 'https://git.coding.net/u/aaa/p/projectxxx/' 解決
2019-01-11 14:41:55
原创 phoenix 創建索引
需求：phoenix查詢很慢的時候需要創建索引 問題： CREATE INDEX iupt ON webmagic_n.ENVIRONMENTAL_STATION_DATA2(update_time DESC) ; 錯誤： Error:
2018-12-29 01:16:55
1
原创 大數據開發過程中遇到問題總結（持續更新中）
問題一：idea調試flume源碼時，明明異常信息打印了，在出現異常信息之前大哥斷點調試，死活都進不去？？？？ debug的時候斷點進不去，查看flume源碼？把所有斷點都清空了，並把maven也clean啦。。。。。然後就可以了！坑啊
2018-12-29 01:16:54
原创 cdh搭建完畢後oozie配置org.apache.oozie.action.ActionExecutorException以及時區問題
異常信息： org.apache.oozie.action.ActionExecutorException: AUTH_FAILED: Not able to perform operation [ssh -o PasswordAuthe
2018-12-29 01:16:54
5