原创 客戶環境沒辦法查看Spark UI頁面，怎麼辦？讓我們來使用Spark REST API查看作業信息吧！
文章目錄場景環境IP關係使用步驟1. 獲取鏈接IP及端口1. 獲取spark主機域名或ip（適用於查找歷史應用）2. 根據日誌查找該應用運行的鏈接（適用於查找運行中應用）2. 查看方法總結求贊、求轉發、求粉URL 參數清單 場景
2020-07-01 22:56:07
原创 問題解決：Given NMToken for application : appattempt_xxx is not valid for current node manager
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 登錄服務器，使用hive -f test.sql命令，啓動了統計腳本。但是，經過了SQL校驗通過之後，啓動就報錯了。登錄Hadoop控制檯，點開了自己的應用，發現
2020-07-01 22:56:07
3
原创 問題解決：NameError: name 'platform_system' is not defined
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 使用 pip安裝依賴的時候，更新之後，更新的依賴不能用。比如我將機器的ansible版本指定安裝2.7.11版本，安裝成功之後，使用命令ansible --ver
2020-07-01 22:56:07
原创 問題解決：java運行HiveQL，報錯：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 使用Java編寫HiveQL語句，然後通過jdbc的方式遠程連接hive集羣，並執行。在執行過程中，報錯，錯誤信息如下： java.lang.NoClassDef
2020-07-01 22:56:07
8
原创 mysql學習系列：總結數據庫連接不上的數種情況，問題編號：ERROR 1045 (28000)
文章目錄場景環境正文一、密碼輸入錯誤i、root賬戶忘記密碼關閉mysql服務免密啓動mysql服務免密碼登錄修改密碼刷新配置重新啓動mysql服務ii、非root賬戶忘記密碼二、mysql.user 未賦予權限三、mysql.u
2020-05-23 10:13:27
原创 問題解決：CDH重啓報錯，啓動不了的解決步驟
文章目錄問題場景問題環境問題原因確定重啓命令嘗試連接頁面確定環境查看日誌解決方案數據庫配置文件是否正常權限是否賦權正常總結隨緣求贊轉發關注三連 問題場景 因爲園區突發斷電，導致服務器斷電。部署在服務器上面的CDH集羣都掛了。現在需
2020-05-23 10:13:27
原创 elasticsearch學習系列：開發springboot程序進行定時刪除過期索引
文章目錄場景環境正文流程梳理show the codemaven依賴配置文件主要函數配置類處理類結果總結隨緣求贊 場景 項目使用了elasticsearch技術來進行數據搜索，而單天的數據量比較大，隨着時間的流逝，整個elasti
2020-05-20 18:08:44
原创 設計模式學習系列：模板方法模式的學習
文章目錄前言環境正文定義說明例子需求思路設計show the codeDealProcess 類代碼DealBookProcess 類代碼DealMsgProcess 類代碼Client類代碼測試輸出優點缺點總結隨緣求贊 前言 最
2020-05-19 05:23:54
原创 vue學習系列：JS跨域問題的解決
文章目錄場景環境正文一、介紹1、根由2、同源的定義3、限制同源的緣由4、爲什麼需要跨域二、解決方法1、CORS簡介2、前端設置代理缺陷3、後臺設置過濾器i、設置環境變量ii、設置 config類iii、設置filter類結果總結參
2020-05-14 11:27:07
原创 問題解決：io.grpc.netty.shaded.io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record
文章目錄問題場景問題環境問題原因解決方案一、簡單快捷二、安全但有點繁瑣結果總結參考鏈接隨緣求贊 問題場景 最近使用公司微服務框架開發後臺，要調用由python寫的服務端接口。這裏我們是使用了grpc來做不同語言之間的接口調用。已知
2020-05-09 16:42:15
49
原创 Java學習系列：package-info.java的作用
文章目錄場景環境正文介紹用途一、提供包級別的註解介紹樣例二、提供包級別的變量介紹樣例三、提供包級別的註釋介紹樣例總結隨緣求贊 場景 學習spring-kafka開源源碼的時候，發現每個目錄都有一個package-info.java
2020-05-09 13:08:50
原创 kafka學習系列：消息發送確認機制，避免程序退出導致數據丟失的情況
文章目錄場景環境正文spring-kafka發送消息的介紹消息發送確認機制一、同步阻塞二、異步等待結果返回總結參考鏈接隨緣求贊 場景 在使用spring-kafka進行功能開發的時候，思考過這樣一個問題：假如使用信號量的方式（不瞭
2020-05-09 13:08:50
原创 Java學習系列：比較兩個文件的差異，並輸出差異的部分
文章目錄場景環境正文思路示例樣例輸出總結隨緣求贊 場景 臨下班的時候，上級交給我一個任務，要求把某個目錄的配置文件和官方的配置文件做對比，比較一下，得到現有配置文件與官方配置文件的差異。 環境 軟件 版本 JDK 1
2020-05-09 13:08:50
1
原创 kafka學習系列：根據數據庫獲取主題列表，並根據主題啓動不同的消費者，實現主題間消費互不影響
文章目錄場景環境正文一、項目依賴二、項目配置三、正文參考鏈接總結隨緣求贊 場景 公司自研框架開發中，使用了kafka組件，需要根據不同的業務，監聽不同的主題。每個業務的主題是動態可變的，所以監聽的主題也是需要根據變化動態地重啓。
2020-05-02 16:39:44
2
原创 Java學習系列：使用SignalHandler來處理Linux信號量，控制程序結束的步驟
文章目錄場景環境正文SignalHandler類的編寫SignalHandler類的綁定執行腳本說明結果參考鏈接總結隨緣求贊 場景 最近，開發的程序是對kafka進行消費，程序開發完畢之後，發現程序的終止一直都是很簡單粗暴的kil
2020-04-29 07:32:00
1