原创 cdh6.3.2安裝apache-kylin-3.0.2-bin-cdh60

首先,由於本人是cdh6.3.2,故點擊下載選擇下圖cdh60包 [root@cdh632-worker03 ~]# cd /opt/soft/ [root@cdh632-worker03 soft]# tar zxf apache-k

原创 cdh6.3.2上Hive on Spark模式下hive無法使用JsonSerDe問題

昨晚羣內網友創建hive外部表(圖一)後查詢(Hive on Spark模式)便報錯(圖二): 而我在cdh6.3.2上初次嘗試建JsonSerDe外部表(參考:hive中創建hive-json格式的表及查詢)時報錯(圖三): ERR

原创 cdh6.3.2上部署janusgraph0.5.2和atlas2.0.0

一、cdh6.3.2上部署janusgraph0.5.2+hbase2.1.0-cdh6.3.2+elasticsearch6.6.0(通過kibana6.6.0開啓了xpack和鉑金服務【es不可太高版本】以使用其圖算法),參考一:圖數

原创 解決log4j2警告:WARN Unable to instantiate org.fusesource.jansi.WindowsAnsiOutputStream

初識log4j2和log4j import org.apache.logging.log4j.LogManager; import org.apache.logging.log4j.Logger; public class Log4j

原创 neo4j啓動時,日誌報錯:Address xx.xx.xx.xxx:7687 is already in use, cannot bind to it.

總結:neo4j.conf中bolt監聽地址由阿里雲服務器的“公網ip”改爲“內網ip”或0.0.0.0 背景:接阿里對阿里雲服務器進行升級的通知,對阿里雲服務器進行遷移。在重啓neo4j時,無論是使用默認7687端口,還是隨意改一個提前

原创 在cdh6.3.0上自制flink1.9.x的parcel包(點激活按鈕報錯)

背景: 參考“如何獲得Cloudera的Flink Parcel包”,此文:https://mp.weixin.qq.com/s/ajYyEnqCJRr8S645BqKCcg,然後運行安裝包下的示例程序“在CDH上運行你的第一個Flink

原创 elasticsearch5.5.3:在不知道id的情況下,全文過濾出來某字段爲xxx後,取出此條數據

es的需求:在不知道id的情況下,全文過濾出來某字段爲xxx後,取出此條數據,使用spark-es非常好做(即https://segmentfault.com/a/1190000015710349?utm_source=tag-newes

原创 HiveOnSpark報錯:Client 'xxx' timed out waiting for connection from the Remote Spark Driver

今天羣內看到一個hive on spark報錯案例: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkT

原创 win10上編譯flink1.10.0以運行在cdh6.3.0環境中

背景:雖然之前在win10上成功編譯了flink-1.9.2以運行在cdh6.3.0環境中: 參考一:從源碼編譯Apache Flink快速部署和測試(包含指定Hadoop及Cloudera Hadoop、Blink) 參考二:flink

原创 cdh無法啓動cloudera-scm-server 通過重裝cdh集羣修復原cdh集羣

1 由於cdh集羣突然斷電,導致五臺服務器中cloudera-scm-server無法運行和某臺虛擬機的Centos7系統進不去。雖然利用筆記本上的虛擬機重搭CM和cdh集羣導出元數據庫腳本,以使原cdh集羣的mysql中恢復其元數據庫s

原创 hbase1.2.0-cdh5.11.2升級到hbase2.1.0-cdh6.3.0遇到的問題之hbase通過MapReduce查看錶行數

求解??? 環境描述:五臺測試機器,該臺機器並非重裝linux系統,而是刪除原5.11.2集羣上的已知目錄,然後通過其他四臺機器上cdh6.3.0添加新主機。由於只有此臺機器配置高,故此臺機器上有各種自我安裝的軟件:phoenix5.0(

原创 解決報錯:Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2

-----------------特此說明:全文廢話連篇,但是“取經”路上的歷程,慎看--------------------- tensorflow小白的我,在運行案例時報錯如下圖,且同此文:https://stackoverflow.

原创 idea無法識別java類中main方法的參數類型String問題

今天從github上clone代碼通過maven導入idea後,遇到的問題描述如文章標題,問題現象如下圖: 此問題奇葩到這種程度: 經查網友無非兩種主流解決方式,但於我均無效。 無效方式一:https://blog.csdn.net/w

原创 win10上編譯elasticsearch-6.6.0並用idea調試以及修改源碼以解決Master卡頓、創建/刪除索引耗時過長的問題

題記 爲了驗證我的es6.6.0是否也存在:關於阿里發現es7.2及以上版本出現“Master卡頓、創建/刪除索引耗時過長”的問題,內核調優 | 如何提升Elasticsearch master調度性能40倍。由於es各大版本差異較大,

原创 cdh6.3.2配置Hive on Spark

環境:戴爾xps15(32G內存、1T固態、外接雷電3接口的三星1T移動固態、WD Elements的4T外接機械硬盤 )win10三臺Centos7虛擬機用於測試cdh6.3.2集羣(免費的社區版的最高版本)以及自編譯phoenix5.