原创 spark on yarn cluster模式，出現異常NoSuchMethodError: com.google.common.base.Stopwatch
異常出現 調用的命令如下： spark2-submit \ --master yarn \ --deploy-mode cluster \ --class com.bigdata.PreWarningScalaAppV2 \ --
2020-06-22 11:25:32
原创 CDH5.16.1採用rpm+http方式離線部署（圖解詳細流程）
文章目錄機器準備一 節點初始化1.1 設置所有節點的hosts文件1.2 關閉防火牆和清空規則1.3 關閉所有節點的selinux1.4 設置所有節點的時區1.5 時鐘同步1.5.1 選取hadoop001爲ntp主節點1.5.2
2020-06-22 11:25:31
原创 docker push 異常 denied: requested access to the resource is denied
問題復現 push的時候，出現如下異常： 解決方法 1.先登陸 docker login 2.再進行push docker push username/reponame:tagname 最後，我們登陸docker官網倉庫
2020-02-22 00:25:30
原创 CDH安裝Kafka, 簡稱CDK安裝（圖解安裝）
文章目錄一 下載包裹文件二 安裝httpd三 對parcel進行分發和激活四 添加服務五 測試數據 一 下載包裹文件 http://archive.cloudera.com/kafka/parcels/4.1.0/ 創建下載的目
2019-10-25 22:11:22
32
原创 解決spark on yarn每次都傳遞一堆jars的問題
問題復現 spark-submit \ --master yarn \ --deploy-mode cluster \ --class com.bigdata.homework.standby.JDBCApp \ --jars /
2019-10-25 22:11:22
原创 CDH5.16.1安裝Spark2.x,簡稱CDS安裝（圖解官網安裝）
CDH的官網都寫的很詳細，我們要學會看官網的步驟去安裝，是最權威的 文章目錄一 找到Spark在哪裏二 安裝CDS2.1 安裝Service Descriptor步驟a步驟b步驟c步驟d2.2 添加包裹倉庫(parcel repo
2019-10-25 22:11:21
4
原创 CDH5.16.1郵箱預警設置
我們要通過126郵箱發送到qq郵箱 一 開啓126授權碼 二設置CDH 點擊Alert Publisher 配置相關信息 設置465端口 三 測試 點擊Alerts-> Send Test Alert 測試結果如下
2019-10-25 22:11:21
原创 scala中常用的算子
文章目錄一 map映射二 filter過濾三 reduce四 zip五 flatten六 groupBy/sortBy七 案例-求wordcount並降序 一 map映射 有如下數組 val d = Array(1, 2, 3,
2019-09-07 21:07:58
1
原创 IDEA提交作業到yarn，踩坑彙總
跑mapreduce任務只知道在在本地打成jar，提交到hadoop集羣上去跑任務，如果出現錯誤往往很難定位錯誤，所以遠程debug是開發中不可或缺的技能 一 Permission denied（權限問題） 權限問題，idea運行
2019-09-04 21:15:28
原创 mac中IntelliJ IDEA運行速度慢
只要修改hosts文件即可 sudo vi /etc/hosts 然後在你的loclhosts後面追加：你的電腦名.local，如下圖
2019-09-02 21:04:19
原创 ssh zookeeper集羣無法啓動的排查
文章目錄1 問題重現2 尋找日誌2.1 查看配置文件2.2 查看conf下有什麼2.3 查看zkServer.sh3 問題解決 1 問題重現 有如下shell腳本start-zk.sh，內容如下 #!/bin/bash #zk
2019-08-28 22:09:41
1
原创 shell腳本檢測hdfs ha發生failover時，發送郵件預警
當hdfs ha集羣啓動之後，我們可以通過獲取配置文件key的獲取到一些value信息，然後可以得到hdfs的機器名，serviceid，狀態是active還是standby； 準備兩個文件HDFS_HA_LAST.log和HDF
2019-08-28 22:09:41
1
原创 shell常用命令
文章目錄1.入門2.變量定義與引用3.傳遞參數4.數組5.流程控制if5.1 if else 語法5.2 if else-if else 語法6.流程控制for while6.1 for循環6.2 while循環7.分割8.awk
2019-08-28 22:09:30
原创 centos7用shell通過mail465端口發送郵件
文章目錄1 先去QQ郵箱，開啓SMTP和獲取授權碼2 停止sendmail服務3 調整參數4 啓動postfix服務5 創建認證6 配置郵件發送者7.安裝mailx8.測試9 標準shell發送9.1 不帶附件9.2 帶附件 1
2019-08-28 22:09:30
原创 hadoop2.6.0-cdh5.15.1編譯源碼支持壓縮
如果不想自己編譯，可以直接從我這裏直接下載 鏈接:https://pan.baidu.com/s/1jUTH-29rdKwAJ0_5vRQ1iA 密碼:7juw 文章目錄一 爲什麼要編譯二 環境條件三 安裝依賴四 安裝軟件4.1
2019-08-22 22:22:52
1