原创 Hive亂碼解決方案
Hive註釋中文亂碼 創建表的時候，comment說明字段包含中文，表成功創建成功之後，中文說明顯示亂碼 create external table movie( userID int comment '用戶ID', movieID
2020-04-19 15:26:03
原创 理解Druid原理與架構
Druid.io（以下簡稱Druid）是2013年底開源出來的， 主要解決的是對實時數據以及較近時間的歷史數據的多維查詢提供高併發(多用戶)，低延時，高可靠性的問題。 Druid簡介： Druid是一個爲在大數據集之上做實時統計分析而設
2020-04-16 16:04:27
原创 SparkSQL優化器系統Catalyst
最近想來，大數據相關技術與傳統型數據庫技術很多都是相互融合、互相借鑑的。傳統型數據庫強勢在於其久經考驗的SQL優化器經驗，弱勢在於分佈式領域的高可用性、容錯性、擴展性等，假以時日，讓其經過一定的改造，比如引入Paxos、raft等，強化自
2020-04-06 18:44:37
1
原创 上傳gitlab ! [remote rejected] dev -> dev (pre-receive hook declined)
上傳到master權限也是這個問題 原因：權限問題，Develop角色默認下沒有遠程訪問master的權限，至少將權限提升到Maintainer 提交代碼 git branch 分支名 git checkout 分支名 git add X
2020-03-13 15:37:00
原创 gitlab新建項目
參考：https://blog.csdn.net/tflasd1157/article/details/81947348 1、在gitlab界面新建項目 2、首先執行命令 3、本地項目上傳 4、執行完成表示上傳成功
2020-03-13 15:37:00
原创 Java讀取文件的四種方式
https://blog.csdn.net/qq_36983118/article/details/79873019 按字節讀取文件內容 按字符讀取文件內容 按行讀取文件內容 隨機讀取文件內容 public class
2020-02-22 05:37:36
原创 檢查HDFS的健康狀態
一、通過web UI查看 二、通過命令產看 低版本的命令爲：sudo -u hdfs hadoop fsck / 高版本的命令爲：sudo -u hdfs hdfs fsck / hdfs fsck輸出的解釋： Usage: DFSck
2020-02-22 05:37:36
原创 Intellij IDEA 快捷鍵整理
【常規】 Ctrl+Shift + Enter，語句完成 “！”，否定完成，輸入表達式時按 “！”鍵 Ctrl+E，最近的文件 Ctrl+Shift+E，最近更改的文件 Shift+Click，可以關閉文件 Ctrl+[ OR ]，可以跑
2020-02-22 05:37:36
原创 Flume常見的模式及高可用集羣搭建
Flume NG是一個分佈式，高可用，可靠的系統，它能將不同的海量數據收集，移動並存儲到一個數據存儲系統中。輕量，配置簡單，適用於各種日誌收集，並支持 Failover和負載均衡。並且它擁有非常豐富的組件。Flume NG採用的是三層架構
2020-02-22 05:37:36
原创 Flume如何保證消息的可靠性
Flume的可靠性保證：故障轉移、負載均衡，多層代理 官網的配置 ： https://flume.apache.org/FlumeUserGuide.html Flume的一些組件（如Spooling Directory Source、F
2020-02-22 05:37:36
原创 Java Volatite關鍵字
一、基本概念 先補充一下概念：Java 內存模型中的可見性、原子性和有序性。 可見性： 可見性是一種複雜的屬性，因爲可見性中的錯誤總是會違揹我們的直覺。通常，我們無法確保執行讀操作的線程能適時地看到其他線程寫入的值，有時甚至是根本不可
2020-02-22 05:37:36
原创 Spark自定義對象排序及自定義序列化
一、目標對象添加隱式轉換函數的方式實現自定義排序 object MySort{ //爲student類添加隱式轉換函數 implicit val stuOrdering = new Ordering[student]{
2020-02-22 05:37:36
原创 Error response from daemon: Get https: x509: certificate signed by unknown authority
在其他設備用docker login *.*.*.* 登錄Harbor 服務器時，報下面錯誤： python@job:/lib/systemd/system$ docker login 192.168.0.19 Username: <u
2020-02-22 05:37:36
原创 ClickHouse安裝記錄
官網地址： https://clickhouse.tech/#quick-start https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/ 最近準備用ClickHouse，記錄一下搭建記
2020-02-22 05:37:36
原创 Hive讀時模式
hive讀時模式： 1.傳統的關係型數據庫在進行數據加載時，必須驗證數據格式是否符合表字段定義，如果不符合，數據將無法插入 至數據庫表中。這種模式稱爲“寫時模式”。 2.hive中，數據加載過程採用“讀時模式”
2020-02-22 05:37:36