原创 3、編程模型以及核心概念
核心概念 官網鏈接 DataSet and DataStream Flink具有特殊類DataSet並DataStream在程序中表示數據。您可以將它們視爲可以包含重複項的不可變數據集合。在DataSet數據有界的情況下（批處理）
2020-06-21 10:40:54
原创 4、DataSet API編程
本博客以scala編程概念爲主 1、概念 官網鏈接 Flink中的DataSet程序是常規程序，可對數據集進行轉換（filtering, mapping, joining, grouping）。最初從某些來源(sources)（b
2020-06-21 09:58:17
原创 --- spark的job在yarn的資源分配
資源 現在有6臺機器 每臺機器16個core 64g的內存 資源分配 6Node 16core/臺 64g/臺 現可用資源一共96個core 384g ；每臺機器預留1core和1g；那麼剩下90個core 378g的可用資源 分
2020-06-21 09:58:17
1
原创 6、Flink Table API & SQL編程
1、Flik關係型api概念 最底層的Stateful event driven application是最難以使用的，因爲接近底層；中層的DataStream api和DataSet api是對於開發人員來說是可以接受的；最上
2020-06-21 09:58:08
原创 JAVA面試乾貨之Java底層JVM
面試問道：談談你對java的理解 一般我們要簡單的從 平臺無關性、GC、語言特性、面向對象、類庫、異常處理等來簡要回答。 平臺無關性如何實現 Compile Once，Run Anywhere如何實現 提供了不同平臺的虛擬機，所以
2020-06-21 09:58:08
原创 2、快速上手開發Flink應用程序
開發環境準備 1、JDK 2、Maven 3、IDEA 使用Flink開發一個批處理應用程序 以最簡單的 word count 爲案例 準備一個文本，路徑爲 src/main/test_files/test_file hello,
2020-06-21 09:58:08
原创 5、DataStream API
1、編程概述 Flink中的DataStream程序是常規程序，可對數據流實施轉換（例如，iltering, updating state, defining windows, aggregating）。最初從各種來源（例如，消息
2020-06-21 09:58:08
原创 JAVA面試乾貨之Java底層GC
對象被判定爲垃圾的標準 沒有被其他對象引用 判定對象是否爲垃圾的算法 引用計數算法 判斷對象的引用數量 通過判斷對象的引用數量來決定對象是否可以被回收 每個對象實例都有一個引用計數器，被引用則+1，完成引用則-1 任何引用計
2020-06-21 09:58:08
原创 kafka可靠的數據傳遞--
文章目錄基本保證broker可靠性生產者可靠性消費者可靠性 理論上無論什麼組件都會有數據丟失和重複；我們只能從 源頭和出口來解決數據的質量。 基本保證 broker可靠性 副本系數：replication.factor = 3
2020-06-02 08:34:30
原创 kafka元數據管理--
文章目錄ZK結構樹admin節點brokers節點consumers節點config節點controller節點 ZK結構樹 kafka這個是zk上創建的一個節點；這個kafka節點下有admin brokers等子節點 adm
2020-06-02 08:34:30
原创 kafka配置體系--
文章目錄配置概覽動態配置命令broker配置topic配置客戶端配置 配置概覽 動態配置命令 少量配置可以在機器/程序運行期間進行動態修改，動態配置的內容存在ZK之中 add-config 添加一些配置 delete-co
2020-06-02 08:34:30
原创 kafka集羣管理--
文章目錄主題操作消費者羣組生產和消費代碼演示 主題操作 bin/kafka-topics.sh —zookeeper localhost:2181/kafka#(在server.properties裏配置的zk的路徑) # 創建主
2020-06-02 08:34:30
原创 深入Kafka--
文章目錄集羣成員關係控制器分區複製物理存儲基本概念刷盤文件滾動數據清除策略索引消息格式 集羣成員關係 控制器 控制器的作用： 除具有一般broker的功能之外，還負責分區首領的選舉 控制器的選舉： 各broker向ZK中/co
2020-06-02 08:34:30
原创 1、Hadoop離線項目整體技術
擼了今年阿里、頭條和美團的面試，我有一個重要發現.......>>> 離線項目下的Hadoop生態棧 Hadoop生態離線項目 Hadoop：（無論什麼大數據項目Hadoop是少不了的） HDFS Ma
2020-02-20 14:43:12
原创 3、Hadoop高級之HDFS&YARN HA架構剖析
擼了今年阿里、頭條和美團的面試，我有一個重要發現.......>>> HDFS HA 1、爲什麼要用集羣 學習過程中我們只需要單點就夠了 我們在企業中大數據幾乎所有組建都是主從架構 master-slave 比如hdfs讀
2020-02-20 14:43:11