原创 YARN 運行機制分析

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取新資料YARN調度運行機制在傳統的MapReduce中, Jobtracker同時負責作業調度(將任務調度給對應的tasktracker)和任務進度管理(監控任務,

原创 Flink 狀態生存時間(State TTL)機制的底層實現

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取新資料前言從 Flink 1.6 版本開始,社區爲狀態引入了TTL(time-to-live,生存時間)機制,支持Keyed State 的自動過期,有效解決了狀態數

原创 Lombok經常用,卻不知道它的原理是什麼

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取新資源來自:urlify.cn/y2UnAn相信大家在項目中都使用過Lombok,因爲能夠簡化我們許多的代碼,但是該有的功能一點也不少。那麼lombok到底是個什麼呢

原创 豪華陣容的大數據+AI Meetup,有大數據計算引擎、AI、數據倉庫、數據湖等話題...

近年來,隨着工業界多年的努力以及新興技術的不斷涌現,數據規模龐大的問題已逐步得到解決,而數據處理的時效性、數據價值的挖掘正成爲企業及開發者面臨的新的巨大挑戰。也因此,大數據計算引擎、AI、數據倉庫、數據湖等成爲當前無可爭議的熱門話題。當

原创 Elasticsearch 25 個必知必會的默認值

題記: 技術交流羣中有小夥伴提及:“es 節點默認1000 個分片的限制”?這引發了我對Elasticsearch 默認值的關注。我一搜不要緊:聊天記錄中涉及“默認”關鍵詞的討論接近 400 多處。這些默認值對於架構選型、開發實戰、運維

原创 Flink 全網最全資源(視頻、博客、PPT、入門、原理、實戰、性能調優、源碼解析、問答等持續更新)

Flink 學習 https://github.com/zhisheng17/flink-learning 麻煩路過的各位親給這個項目點個 star,太不易了,寫了這麼多,算是對我堅持下來的一種鼓勵吧! http://www.54

原创 太南:一個JDK線程池BUG引發的GC機制思考

來源:https://urlify.cn/63QrYv問題描述前幾天在幫同事排查生產一個線上偶發的線程池錯誤邏輯很簡單,線程池執行了一個帶結果的異步任務。但是最近有偶發的報錯:java.util.concurrent.RejectedE

原创 安利一批 Intellij IDEA 常用的牛逼插件

點擊上方zhisheng,選擇“設爲星標”優質文章,及時送達來源 | https://urlify.cn/fEVb6b這裏補充一下常用的插件, 非常值得安利一波!1、日曬主題 Solarized Themes推薦指數:☆☆☆☆☆推薦理由

原创 重磅!Apache Flink 1.11 會有哪些牛逼的功能

整理 | 高贇、程鶴羣Review | 王治江Flink 1.11 版本即將正式宣告發布!爲滿足大家的好奇與期待,我們邀請 Flink 核心開發者對 1.11 版本的功能特性進行解讀與分享。Flink 1.11 在 1.10 的基礎上對

原创 一位羣友在滴滴和頭條幹了 2 年半的寶貴經驗

點擊上方“zhisheng”,選擇“設爲星標”回覆”666“獲取新整理的資料先簡單交代一下背景吧,某不知名985的本碩,17年畢業加入滴滴,今年下半年跳槽到了頭條,一直從事後端研發相關的工作。之前沒有實習經歷,算是兩年半的工作經驗吧。這

原创 Apache Flink 1.10 TaskManager 內存管理優化

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取最新資料Apache Flink 1.10 對 TaskManager 的內存模型和 Flink 應用程序的配置選項進行了重大變更。這些最近引入的更改做到了對內存消耗

原创 一張圖,搞定大數據工程師的成長路徑

薪資高、機會多、缺口大,讓大數據在開發圈裏成了香餑餑。 與此同時,在我做公衆號的這兩年,目睹了太多人「從入門到放棄」,甚至有些人連大數據的門都沒進來。看看你是那種?在中小企業做了一段時間大數據,但是隻做大數據全流程中的一小塊工作,對整個

原创 關於數據中臺的深度思考與總結(乾乾貨)

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取最新資源本文將總結下數據中臺的相關理論知識。Flink平臺化需要改進的點等等,參考《數據中臺》。原文地址:https://miaowenting.site/2020/

原创 慶祝一下快10萬閱讀的 Flink 入門專輯

Flink 從入門到精通

原创 這一次帶你徹底搞懂 Flink Watermark

點擊上方“zhisheng”,選擇“設爲星標”後臺回覆"666",獲取最新資源https://daijiguo.blog.csdn.net/article/details/105706634背景我們知道,流處理從事件產生,到流經sour