原创 FlinkX流控實現
FlinkX流控實現 流量控制防止併發性能過高對源數據庫造成影響。 在FlinkX中，流量控制是採用Byte爲單位/s進行流量控制的。 配置參數實例： { “speed”: { "bytes": 0
2020-05-24 21:14:40
原创 FlinkX的數據類型
FlinkX的數據類型 從上一章節裏面看到： DataStream<Row> dataStream = dataReader.readData(); 這個簡單的代碼裏面我們可以得出 每一行數據都轉化爲了Row對象 數據轉化爲了
2020-05-24 21:14:40
原创 FlinkX配置文件解析
FlinkX配置文件解析 配置文件 （本章節引自官網） 一個完整的Flinkx任務腳本配置包含 content， setting兩個部分。content用於配置任務的輸入源與輸出源，其中包含reader，writer。而setti
2020-05-24 21:14:40
10
原创 FlinkX 實現原理(全局總覽)
FlinkX 實現原理 從上一節的代碼結構，我們知道FlinkX的結構是Core+Plugin，我們就簡單分析一下Core. Core 代碼架構 基礎支持 classloader 自定義類加載器 Exception 統一異常
2020-05-24 21:14:40
1
原创 數據中臺該如何落地？
數據中臺應該如何落地？ 這是大家都在思考的一個話題，傳統的落地都是一些報表，有數據分析師的還可以搞搞數據分析、？ 但是看了這麼多市場上數據中臺劃分的崗位，並沒有專職人員，都是身兼多職。。 後面想談談如何在技術實踐上面落地，主要從以
2020-05-23 23:20:29
原创 Flink 數據同步先行者- FlinkX
Flink 數據同步先行者- FlinkX 最近在學習Flink,看到目前的Connector支持還較少，聯想到之前的DataX與FlinkX，由感而發。 從我個人的理解上，Connector是連接各個數據源的連接器，它屏蔽了一系
2020-05-18 21:25:20
2
原创 IDEA 2020 Maven auto-import
現在發現這個idea 修改pom.xml 怎麼不會自動導包了。 Import Maven projects automatically 按鈕也沒有了 看到官網有這麼一段話 IntelliJ IDEA 2020.1 brings
2020-05-18 21:25:20
原创 Apache Hive(二) 基本使用
命令交互 交互式命令 hive bin/hive -e 語句 hive -e "select * from student" -f sql 文件 hive -f xx.sql beeline 啓動 hiveserver2 bi
2020-05-12 03:04:57
1
原创 Apache Hive(一) 安裝
環境 centos7 hadoop 2.7.7 hive 3.1.2 mysql 5.7.22 安裝目錄 /opt/apache-hive-3.1.2-bin/ 下載bin wget https://mi
2020-05-12 03:04:57
原创 Apache Kudu(一) 安裝
Kudu 安裝 快速開始 準備好docker環境，如果沒有請自行搜索 Clone the Repository git clone https://github.com/apache/kudu cd kudu 啓動集羣 設置IP
2020-05-12 03:04:57
4
原创 Apache Kudu(二) 原理
文章目錄Kudu 介紹kudu 是什麼kudu 應用場景概念OLAP & OLTP列式存儲 & 行式存儲存儲模型結構：主鍵事務支持性能硬件需求對比HadoopHbaseKudu 設計目標架構組件1． Table 表（Table）2
2020-05-12 03:04:57
原创 Impala(二) 架構與原理
概述 Thanks to local processing on data nodes, network bottlenecks are avoided.由於對數據節點進行了本地處理，因此避免了網絡瓶頸。 A singl
2020-05-12 03:04:57
原创 Impala(一) 基本使用
Impala DEMO impala shell [root@flinkhadoop ~]# impala-shell Starting Impala Shell without Kerberos authentication
2020-05-12 03:04:57
原创 Apache Kudu(三) Java Client 連接 Kudu
Java 客戶端 本地host配置(因爲返回的是hostname，不是ip，如果不配置的話，會存在各種連不上) 192.168.1.101 kudu-master-1 kudu-master-2 kudu-master-3
2020-05-12 03:04:57
原创 大數據環境搭建-CDH6.3.0安裝
https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html 安裝impala 非CDH 版本，噁心的一逼，算了老夫 花了20分鐘
2020-05-07 13:39:38