原创 Flink 數據類型 & TypeInformation信息
原生數據類型 Java Tuples類型 Scala Case Class類型 POJOs 類型 Flink Value類型 特殊數據類型 Scala API類型信息 Java API類型信息 自定義TypeInformation Fli
2020-07-08 06:02:55
8
原创 Flink 編程接口（Flink SQL Table API DataStream API 和 DataSet API Stateful Stream Process API）
目錄 Flink SQL Table API DataStream API 和 DataSet API Stateful Stream Process API Flink 根據數據集類型的不同將核心數據處理接口分爲兩大類，一類是支持批計算
2020-07-07 23:35:26
1
原创 Flink 流處理流程 API詳解
目錄 流處理的簡單流程 Environment 執行環境 Source 初始化數據 transform 執行轉換操作 sink 輸出結果 execute 程序觸發 流處理API的衍變 Storm：TopologyBuilder 構建圖的工
2020-07-07 23:35:26
1
原创 Flink 有狀態流式處理
目錄 傳統批次處理方法 理想方法 流式處理 分散式流式處理 有狀態分散式流式處理 狀態容錯（State Fault Tolerance） 分散式狀態容錯 分佈式快照（Distributed Snapshots） 狀態維護（State Ma
2020-07-05 21:34:42
原创 Flink 本地單機/集羣環境搭建（Linux系統）
目錄 準備工作 單節點安裝 集羣安裝 運行 flink示例程序 將 JobManager / TaskManager 實例添加到集羣（擴展） 準備工作 本文簡述 Flink在 Linux中安裝步驟，和示例程序的運行。需要安裝 JDK1.8
2020-07-04 17:32:35
原创 Flink 1.0 ProgramInvocationException: Job failed ConnectException: 拒絕連接 (Connection refused)
【問題描述】： [root@hadoop1 flink-1.10.1]# bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 Job has be
2020-07-04 17:32:35
2
原创 MySQL 數據庫死鎖問題
在分析案例之前，我們先了解一下MySQL INNODB。在MySQL INNODB引擎中主鍵是採用聚簇索引的形式，即在B樹的葉子節點中既存儲了索引值也存儲了數據記錄，即數據記錄和主鍵索引是存在一起的。而普通索引的葉子節點存儲的只是主鍵索引
2020-07-04 07:44:25
1
原创 磁盤 IO導致線程阻塞
項目有一段時間地理網格服務時不常用的響應變慢，每次持續幾秒鐘到幾十秒鐘就自動恢復。如果響應變慢是持續的還好辦，直接用 jstack抓線程堆棧，基本可以很快定位問題。關鍵持續時間只有最多幾十秒鐘，而且是偶發的，一天只發生一兩次，有時幾天才發
2020-07-04 07:44:25
原创 Flink 數據集類型
目錄 有界數據集 無界數據集 統一數據處理 現實世界中，所有的數據都是以流式的形態產生的，不管是哪裏產生的數據，在產生的過程中都是一條條地生成，最後經過了存儲和轉換處理，形成了各種類型的數據集。如下圖所示，根據現實的數據產生方式和數據產生
2020-07-04 07:44:25
原创 Flink 運行時組件
目錄 一、四大組件 二、任務提交流程 三、任務提交到 YARN上的執行流程 四、任務調度原理 五、TaskManager 和 Slots 六、任務鏈 七、程序與數據流 八、數據流和執行圖 一、四大組件 JobManager（分配任務，調度
2020-07-02 03:47:41
原创 創建第一個 Flink 項目（Java版）
一、運行環境介紹 Flink執行環境主要分爲本地環境和集羣環境，本地環境主要爲了方便用戶編寫和調試代碼使用，而集羣環境則被用於正式環境中，可以藉助Hadoop Yarn、k8s 或 Mesos等不同的資源管理器部署自己的應用。環境依賴：【
2020-07-02 03:47:41
原创 爲什麼選擇 Flink 做實時處理
爲什麼選擇 Flink 【1】流數據更真實地反映了我們的生活方式（實時聊天）； 【2】傳統的數據架構是基於有限數據集的（Spark 是基於微批次數據處理）； 【3】我們的目標：低延遲、高吞吐（分佈式架構，可能會出現順序上的混亂，比如統計1
2020-06-29 07:55:52
原创 JVM 頻繁 FULL GC 快速排查整理
在分享此案例前，先聊聊哪些場景會導致頻繁Full GC： 內存泄漏（代碼有問題，對象引用沒及時釋放，導致對象不能及時回收） 死循環 大對象 程序執行了System.gc() 尤其是大對象，80%以上的情況就是他。 那麼大對象從哪裏來
2020-06-29 07:55:52
3
原创 輸入npm install 時出現 node-sass 錯誤
【問題描述】 npm ERR! errno 1 npm ERR! [email protected] postinstall: `node scripts/build.js` npm ERR! Exit status 1 npm ERR!
2020-06-28 19:44:33
8
原创 YARN 組織架構
目錄 一、Yarn 概述 二、YARN 組織架構 三、Yarn工作機制 四、資源調度器 五、YARN 工作機制 六、任務的推測執行 一、Yarn 概述 Yarn 是一個資源調度平臺，負責爲運算程序提供服務器運算資源，相當於一個分佈式的操作
2020-06-28 14:38:16