原创 如何優雅的停止Spark Streaming 作業 -----非手動
#一 網上也有停止SparkStreaming作業的方法，但是都不夠優雅，不能夠從程序內部實現停止SparkStreaming作業。我來介紹一種優雅的方式。##1：思路 1： 程序出現異常後打一個標記，標記存放在可靠的外部系統如hdfs、
2020-06-02 12:52:39
原创 數據倉庫-拉鍊表+增量表抽取的實現
背景： 業務部門提了用戶分層的需求，其中有一點，業務放需要我們數倉提供歷史數據，並且業務庫裏的部分表還沒有數據更新時間字段。所以本篇文章主要解決兩個問題 1：問題一 怎麼再HIVE裏實現拉鍊表 2：問題二 怎麼再沒有數據更新時間字
2020-04-24 20:46:48
5
原创 HIVE 的窗口函數理論與實踐
寫自定義目錄標題歡迎使用Markdown編輯器二 實踐數據準備1: LEAD與 LAG 、first_value3: first_value 與Last_value新的改變功能快捷鍵合理的創建標題，有助於目錄的生成如何改變文本的
2020-04-21 00:13:26
原创 在Shell 中 Spark-SQL 的調試
對於熟悉Scala開發的人來說，對於spark-sql的使用，直接jar包中寫入代碼處理就能輕鬆實現動態語句的執行。 但是對於我，不打算學習Scala和Java語言，但是又想定時執行時間推延的週期、定時任務，該腫麼辦？ 一 Spa
2019-09-16 02:52:11
原创 企業的加之毀滅之道-正派哥
原文鏈接：http://www.sohu.com/a/331882288_100034414 一談到＂價值毀滅＂，大家想到的就是那些遭遇＂雷劈＂的企業。 但在我眼中，大量企業，甚至可以說，幾乎所
2019-08-08 02:46:33
原创 MapReduce 作業java heap space（記錄蛋疼的一天）
描述：記錄作業相關的異常，本次作業是用sqoop導mysql數據到hive http://www.imooc.com/article/253941 YARN調優完美版 一 YARN 作業的java heap space 日誌如下：
2019-06-28 03:30:43
14
原创 YARN的內存管理 與 CDH集羣管理之角色組
0x00前言 現在一般都使用CM來管理集羣，這是一個很好的管理集羣工具，使集羣便於維護，其中有一點他們推薦一些默認的配置，省去了我們手動選擇的煩惱。但是還是由不少小毛病，最近就遇到了分配給YARN管理的集羣資源太少的問題。 主機
2019-06-26 05:40:25
原创 Structed Streaming 輸出模式
# 由錯誤引起 Complete output mode not supported when there are no streaming aggregations on streaming DataFrames/Datasets;;
2019-06-14 00:55:28
原创 Spark Thrift Server 解放數據開發，開發計算資源的裏利器
0x001 Spark Thrift Server 是什麼 Spark Thrift Server 是一個jdbc和odbc服務，底層依賴的是hive Server2。 0X002 Spark Thrift Sever 帶
2019-06-11 08:57:15
原创 島（方三文）
島是沒有意義的，除非別的島可以到達它。 信息是沒有意義的，除非別的信息可以鏈接它，只有當信息與信息鏈接起來，我們才知道它是真是假，存在怎樣的偏頗與疏漏。 鏈接信息與信息最好的辦法是互動。 互動是美好的，它讓我們展
2019-06-11 08:57:15
原创 HIVE 動態分區表詳解
備註：寫一點關於動態分區表的東西（參見：https://blog.csdn.net/qq_26442553/article/details/80382174） 一 創建分區表 set hive.exec.dynamic.partiti
2019-05-09 11:09:36
原创 Spark SQL too many elements for tuple: 25 （scala tuple超過默認22個元素）
背景：把一列的DataSet擴張到25列，就報了上面的錯，也就是tuple超過了它默認允許的元素個數。 /* * // 方式一：使用普通方式轉換，直接在mp函數類增加DataSet的列數。 這種方式使用的是Tuple()增加列 *
2019-05-04 00:37:43
67
原创 StructedStreaming Kafka 排錯（AbstractCoordinator: Marking the coordinator *dead for grou
描述：這次要接收一個新業務的數據，這個數據已經用Flume採集到了kafka裏， 考慮後決定採用SparkStructedStreaming去接收數據，可是在接收過程中一直報一個錯 19/04/26 15:32:11 DEBUG Ab
2019-04-27 11:12:49
18
原创 第一、第二、第三範式理解
第一、第二、第三範式理解一 規範化之前二 規範化：第一範式新的改變功能快捷鍵合理的創建標題，有助於目錄的生成如何改變文本的樣式插入鏈接與圖片如何插入一段漂亮的代碼片生成一個適合你的列表創建一個表格設定內容居中、居左、居右SmartyP
2019-04-24 07:47:03