選擇主機->所有主機->選擇一個主機-> 組件,如下圖
背景: CDH集羣中一個DataNode節點宕機後所有服務中斷,其他節點正常運行並存儲了大量新數據。 在恢復宕機節點後,重啓其DataNode與JournalNode,之後CM報出JournalNode不同步的錯誤,如下圖。 處理
準備 jdk-8u211-linux-x64.tar.gz flink-1.9.1-src.tgz flink-shaded-7.0-src.tgz apache-maven-3.6.1-bin.tar.g
一,下載需要的包 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.par
centos7下最小化安裝 yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi
--hue配置工作流 首先配置workflow,左上角藍色shedule->shedule->wordkflow My Workflow改成WF-BIBASE-RRS_B2C_DSR_DIM 描述改成'工作流-BI落地表-DSR落地信息表
Presto是完全基於內存的並行計算以及分佈式SQL交互式查詢引擎。它可以共享Hive的元數據,然後直接訪問HDFS中的數據。同Impala一樣,作爲Hadoop之上的SQL交互式查詢引擎,通常比Hive要快5-10倍。Pr
首先,由於本人是cdh6.3.2,故點擊下載選擇下圖cdh60包 [root@cdh632-worker03 ~]# cd /opt/soft/ [root@cdh632-worker03 soft]# tar zxf apache-k
1.這裏賬戶查一下。 2.修改配置文件 find / -name beeswax 選擇這個帶src的。 vim 該文件 DOWNLOAD_CELL_LIMIT = Config( key='download_c
在cdh5.14上裝好spark5.14後,如果使用pyspark的話,默認是使用系統的python,一般是python2.7 配置使用python3 1、在各個節點上安裝好python3,路徑要一致 2、在cdh的配置頁面 2
kylin安裝前提是CDH6.2需要正常安裝,hbase、hive、hdfs、spark(雖然官網是說spark可選安裝,但是在kylin啓動腳本中包含對spark環境的檢測,所以建議CDH添加spark服務)需要正常啓動,且沒有報錯信息
文章目錄場景環境IP關係使用步驟1. 獲取鏈接IP及端口1. 獲取spark主機域名或ip(適用於查找歷史應用)2. 根據日誌查找該應用運行的鏈接(適用於查找運行中應用)2. 查看方法總結求贊、求轉發、求粉URL 參數清單 場景
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 登錄服務器,使用hive -f test.sql命令,啓動了統計腳本。但是,經過了SQL校驗通過之後,啓動就報錯了。登錄Hadoop控制檯,點開了自己的應用,發現
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 使用Java編寫HiveQL語句,然後通過jdbc的方式遠程連接hive集羣,並執行。在執行過程中,報錯,錯誤信息如下: java.lang.NoClassDef
1 集羣準備 1 首先準備三臺虛擬機,虛擬機ip地址可以ping通。 ip 名稱 192.168.63.131 cdh1 192.168.63.132 cdh2 192.168.63.133 cdh3 2 修改IP和主機
編譯。 在官網下載好需要的包之後進行編譯,這部分基本看官方安裝文檔就行。需要注意的是maven版本3.6以上的話,1.1和1.0編譯會報錯,本人親試。1.2和2.0兩個版本個人體驗好像沒什麼差別,只有配置文件有點不一樣(2.0是hbas