直播概要
當業務發展到一定規模，實時數據倉庫就成了必要的基礎服務。從數據驅動方面考慮，多維實時數據分析系統的重要性也不言而喻。但是在數據量巨大的情況下，以騰訊看點爲例，一天上報的數據量可以達到萬億級規模，這時要實現極低延遲的實時計算和亞秒級的多維實時查詢存在相當大的技術挑戰。
本次分享將細緻分析信息流場景下，實時數據系統面臨的技術挑戰。通過介紹騰訊看點的實時數據倉庫和多維實時數據分析系統的技術架構，詳解如何基於 Flink+ClickHouse 解決海量數據場景下的實時數據分析系統難題。
直播大綱
- 實時數據分析系統的作用和騰訊看點的業務場景分析
- 實時數據分析系統難點和方案選型
- 流水上報數據量大、格式混亂、缺乏維度信息
- 實時計算引擎：千億 / 秒的上報數據實時維表關聯的挑戰
- 實時存儲引擎：高併發寫入、高可用分佈式存儲和高性能查詢的難點
- 基於 Flink+ClickHouse 的技術架構和實踐
- 通過微隊列拆分、實時數據清洗，構建實時數據倉庫，提供方便好用的實時數據
- 通過具有低延遲、高吞吐、易用性高以及 Exactly-Once 準確性特點的 Flink，再借助 Redis 緩存，實現海量數據下的實時維表關聯
- 通過 MPP 存儲引擎 ClickHouse，藉助 Zookeeper 實現高可用，通過路由分表、預聚合物化視圖等實現高性能多維數據查詢功能
聽衆受益
- 瞭解信息流場景下實時數據倉庫的特點
- 瞭解騰訊看點萬億量級數據下，多維實時查詢系統的技術架構
- 瞭解 Flink 和 ClickHouse 的企業實踐
適合人羣
- 對大數據技術 Flink、ClickHouse 感興趣的數據愛好者
- 正在探索通過 Flink 構建實時數據倉庫的同學
- 正在探索通過 ClickHouse 構建多維 OLAP 查詢系統的同學
講師介紹
王展雄，騰訊看點數據團隊高級工程師，復旦大學碩士畢業後加入騰訊看點數據研發組，主要負責騰訊看點實時數據系統的研發和數據倉庫的構建。曾經獲得 JDD-2017 全球數據算法大賽 Top3，國際權威人臉數據庫（MegaFace）百萬規模的人臉識別挑戰賽最好成績。