原创 idea常用插件及代碼註釋
一、常用插件 插件名稱 插件介紹 官網地址 Alibaba Java Coding Guidelines 阿里巴巴代碼規範檢查插件 https://plugins.jetbrains.com/plugin/10046
2020-07-07 03:36:48
1
原创 hive表鎖定問題（Locks on the underlying objects cannot be acquired）
hive表鎖定問題一、刪除表失敗1.1 描述？1.2 爲什麼會產生？1.3 如何解決？1.4 排查過程1.4.1.查看錶是否被鎖定1.4.2.解決表被鎖死問題1.5 詳解原理 一、刪除表失敗 1.1 描述？ 創建了一張臨時表但是在
2020-06-24 06:13:59
原创 Flink任務調度原理之TaskManager 與Slots
TaskManager 與Slots 一、作用與關係 上文講到了每一個worker(TaskManager)爲了控制能接收多少個task,worker通過task slot來進行控制（一個worker至少有一個task slot）
2020-06-24 06:13:47
原创 Flink最強攻略寶典
Flink教程目錄 好像很久沒有去系統的總結學過的知識點了，所以已此篇爲起點將逐步寫一些關於Flink相關的知識內容，覺得好的話可以請小編喝杯咖啡！ 一、Flink介紹 1.1 Flink概述 1.2 一文告訴你大數據Flink是
2020-06-24 06:13:44
原创 sqoop密碼明文問題解決
sqoop密碼明文問題解決 今天優化數倉sqoop導入導出時的密碼明文問題！參考博客：https://blog.csdn.net/u011489205/article/details/78966716 這裏會詳細跟大家圖文介紹第四
2020-06-24 06:13:44
原创 hue上workflow之shell-sqoop腳本配置實錄
workflow之shell-sqoop腳本實錄 前面講解了sqoop的密碼明文問題解決與sqoop導入分庫分表mysql數據問題解決，那麼這裏就詳細介紹下在hue上配置shell-sqoop腳本時所遇到的問題！這裏的shell腳
2020-06-07 08:42:17
原创 mysql分庫分表數據導入hive之sqoop-shell腳本
sqoop分庫分表shell導入腳本 之前的生產集羣使用到了mysql的分庫分表，所以抽取同一張表的數據就需要從不同的庫與表中進行抽取了！話不多說先上圖 分庫： 分表： 一、sqoop導入腳本 #!/bin/bash #cod
2020-06-07 08:42:17
8
原创 數據結構與算法教程目錄
一、數據結構 數據結構---------數組 數據結構---------鏈表 數據結構---------二叉樹 數據結構總結---------線性表 數據結構總結---------非線性表（二叉樹） 數據結構總結--------
2020-06-07 08:42:17
原创 什麼你還不會Flink的CEP，那你需要好好看看這篇文章
Flink之CEP詳解 一、是什麼 維基百科對CEP的定義爲:“CEP是一種事件處理模式，它從若干源中獲取事件，並偵測複雜環境的事件或模式，CEP的目的是確認一些有意義的事件（比如某種威脅或某種機會），並儘快對其作出響應”。總結一
2020-05-21 08:47:14
原创 Flink萬物之中Transform算子二
Flink萬物之中Transform算子二 如果你看完了上篇算子一，那麼這一篇可以暫時先放一放，爲什麼呢？因爲算子學習很枯燥，可以適當結合後面對應的知識點去理解可能會沒那麼讓人看的想睡覺，當然如果你頭鐵非要看，我也不反對。【攤手.
2020-05-14 22:08:25
原创 全網最詳細Flink之Watermark機制
一、Flink之Watermark 在上一篇文章中我們介紹了窗口相關的內容，那麼問題來了，假如我們實時處理蒸漂亮同學的行爲，結果蒸漂亮恰好網絡異常，本來我們窗口設置的5秒一算，而她剛纔的行爲恰巧屬於上一個5秒窗口A計算的，但是網絡
2020-05-14 22:08:25
原创 Flink之末自定義udf與Sink定義
一、實現UDF函數——更細粒度的控制流 1.1 函數類（Function Classes） Flink暴露了所有udf函數的接口(實現方式爲接口或者抽象類)。例如MapFunction, FilterFunction, Proce
2020-05-14 22:08:25
原创 再忙也需要看的Flink狀態管理
Flink狀態管理詳解 上幾篇我們講完了Flink窗口的相關內容，那麼問題來了，我們如果在一個開窗的流處理上做求和操作，突然處理涼了，怎麼辦呢？那我們需要去重頭計算嗎？所以接下來也就需要去介紹我們的Flink狀態管理了。在介紹前先
2020-05-14 22:08:25
原创 你不得不知的Flink窗口
一、Windows詳解 如果你真的頭鐵看了上一篇的算子二，那麼沒有問題，看完這篇你應該會更加清晰的理解窗口，如果沒看也沒問題，我會適當的引入部分內容，但看完這篇後還是請打開算子二的窗口章節再去細品下相關算子！ 1.1 圖解關係
2020-05-14 22:08:25
原创 Flink萬物之中Transform算子一
Flink 的Transform算子 在上一篇中我們講完了獲取Flink執行環境與定義某些Source的方法，那麼接下來也就是重要的Flink Transform算子的講解環節了！！！老規矩先上圖： 圖中有很多算子，我們會講解一
2020-05-14 22:08:25