原创 Flink數據類型和序列化
作者 | 馬慶祥 整理 | 毛鶴 本文根據 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 數據開發高級工程師馬慶祥老師分享。文章主要從如何爲 Flink 量身定製的序列化框架、F
2020-07-02 21:20:29
原创 Flink 作業執行深度解析
作者 | 嶽猛 整理 | 毛鶴 本文根據 Apache Flink 系列直播課程整理而成，由 Apache Flink Contributor、網易雲音樂實時計算平臺研發工程師嶽猛分享。主要分享內容爲 Flink Job 執行作業的流程，
2020-07-02 21:20:18
原创 如何正確使用 Flink Connector
董亭亭 快手 實時計算引擎團隊負責人 董亭亭，快手大數據架構實時計算引擎團隊負責人。目前負責Flink引擎在快手內的研發、應用以及周邊子系統建設。2013年畢業於大連理工大學，曾就職於奇虎360、58集團。主要研究領域包括：分佈式計算、調
2020-06-29 01:59:10
原创 Flink Runtime 核心機制剖析
1. 綜述 本文主要介紹 Flink Runtime 的作業執行的核心機制。本文將首先介紹 Flink Runtime 的整體架構以及 Job 的基本執行流程，然後介紹在這個過程，Flink 是怎麼進行資源管理、作業調度以及錯誤恢復的。最
2020-06-29 01:59:10
原创 漫談數據倉庫之拉鍊表
https://www.jianshu.com/p/799252156379 全文由下面幾個部分組成： 先分享一下拉鍊表的用途、什麼是拉鍊表。 通過一些小的使用場景來對拉鍊表做近一步的闡釋，以及拉鍊表和常用的切片表的區別。 舉一個具體的應
2020-06-25 17:01:52
1
原创 Flink DataStream API編程指南
Flink DataStream API主要分爲三個部分，分別爲Source、Transformation以及Sink，其中Source是數據源，Flink內置了很多數據源，比如最常用的Kafka。Transformation是具體的轉換
2020-06-08 21:35:59
原创 github訪問加速
對於國內的用戶，下載 github 上的代碼可能比較慢，可以在/etc/hosts 中增加如下配置， 可以顯著提升 github 的下載速度： 151.101.72.133 assets-cdn.github.com 151.101.7
2020-05-26 17:47:43
原创 Apache Flink 的定義、架構及原理
作者：陳守元 & 戴資力 整理：閔閣 陳守元（巴真） 阿里巴巴高級產品專家 嘉賓簡介：阿里巴巴實時計算團隊產品負責人，2010年畢業即加入阿里集團參與淘寶數據平臺建設，近10年的大數據從業經驗，開源項目Alibaba DataX發起人
2020-05-21 13:12:48
原创 RDD、DataFrame、DateSet基本操作
一，RDD，DataFrame和DataSet DataFrame參照了Pandas的思想，在RDD基礎上增加了schma，能夠獲取列名信息。 DataSet在DataFrame基礎上進一步增加了數據類型信息，可以在編譯時發現類型錯誤。
2020-05-16 16:57:56
原创 SparkSQL的自適應執行---Adaptive Execution
1 背景 本文介紹的 Adaptive Execution 將可以根據執行過程中的中間數據優化後續執行，從而提高整體執行效率。核心在於兩點 執行計劃可動態調整 調整的依據是中間結果的精確統計信息 2 動態設置 Shuffle Pa
2020-05-12 02:43:04
原创 Redis全攻略
0x00.前言 Redis是跨語言的共同技術點，無論是Java還是C++都會問到，所以是個高頻面試點。 筆者是2017年纔開始接觸Redis的，期間自己搭過單機版和集羣版，不過現在大一些的公司都完全是運維來實現的，我們使用者只需要在web
2020-05-06 08:57:11
原创 HBase2.0新特性
升級背景 個推作爲專業的數據智能服務商，在業務開展過程中存在海量的數據存儲與查詢的需求，爲此個推選用了高可靠、高性能、面向列、可伸縮的分佈式數據存儲系統——HBase。 然而，運行HBase老集羣（使用HBase1.0版本）多年後
2020-05-06 08:57:11
原创 hive優化總結
開發優化： 1、分區、列剪裁。 在查詢的過程中減少不必要的分區，只讀取查詢中所需要用到的列，而忽略其它列 2、謂詞下推。 SQL語句中where謂詞邏輯提前執行，減少下游處理數據量 select a,b fr
2020-03-25 15:02:10
原创 hive窗口函數總結
一：前言 根據官網的介紹，hive推出的窗口函數功能是對hive sql的功能增強，確實目前用於離線數據分析邏輯日趨複雜，很多場景都需要用到。以下就是對hive窗口函數的一個總結附上案例。 二：理解下什麼是WINDOW子句（靈活控制窗口的
2020-03-25 15:02:10
原创 HBase基本知識介紹及典型案例分析
HBase基本知識介紹及典型案例分析 https://yq.aliyun.com/articles/670748?spm=a2c4e.11153940.blogcont670939.13.5c547ea4uHTuj2
2020-03-09 17:31:43