DataPipeline聯合Confluent Kafka Meetup上海站

Confluent作爲國際數據“流”處理技術領先者,提供實時數據處理解決方案,在市場上擁有大量企業客戶,幫助企業輕鬆訪問各類數據。DataPipeline作爲國內首家原生支持Kafka解決方案的“iPaaS+AI”一站式大數據融合服務提供商,在零售、金融、互聯網和製造等行業擁有着豐富實踐經驗和解決方案能力。


此次上海DataPipeline & Confluent Kafka Meetup,我們邀請到了Confluent流數據處理系統架構師和技術負責人王國璋、DataPipeline架構師呂鵬、攜程大數據平臺實時計算平臺負責人潘國慶、阿里巴巴實時計算平臺高級技術專家秦江傑、網易雲大數據平臺架構師歐陽武林等大數據領域六位行業大咖分享Kafka最新研究成果以及行業應用案例。


活動流程

2.png


演講嘉賓



王國璋.png

王國璋 

Confluent流數據處理系統架構師和技術負責人

Apache Kafka PMC,Kafka Streams 作者。於康奈爾大學計算機系取得博士學位,主要研究方向爲數據庫管理和分佈式數據系統。現就職於Confluent,任流數據處理系統架構師和技術負責人。此前曾就職於 LinkedIn 數據架構組,主要負責實時數據處理平臺,包括 Apache Kafka 和 Apache Samza 系統的開發與維護。

 

演講主題:《Apache Kafka,從0.7到2.0:那些年我們踩過的坑》

自從 2011年被捐獻給Apache基金會到現在,Kafka項目已經走過了七個年頭。從最早的“分佈式消息系統”,到現在集成了分發、存儲和計算的“流式數據平臺”,Kafka經歷了哪些挑戰?又經過了什麼樣的演進變化?

1. 從硬件的發展趨勢,展現 Kafka 架構的演進過程;

2. 從Kafka開發和維護經驗,分享分佈式系統工程實踐的通理;

3. 開源數據系統的開發經驗,如何維護和發展一個開源社區。



潘國慶.png

潘國慶 

攜程大數據平臺實時計算平臺負責人

攜程大數據平臺實時計算平臺負責人,2016年加入攜程,主要從事攜程實時計算平臺的構建與演進、以及攜程實時特徵平臺的搭建,在實時計算領域擁有豐富的實戰經驗。

 

演講主題:《攜程實時計算平臺架構與實踐》

1. 攜程實時計算平臺的演進之路;

2. 實時架構設計與曾經踩過的坑;

3. 實時計算在攜程的實踐;

4. 未來規劃。

 

呂鵬.png

呂鵬 

DataPipeline 架構師

呂鵬,目前擔任DataPipeline架構師一職,負責數據傳輸和ETL方面的架構和優化工作。曾就職於Talend和銷售易大數據部,擁有5餘年大數據平臺和數據倉庫架構搭建經驗,在ETL 領域擁有豐富的實戰經驗。

 

演講主題:《DataPipeline在大數據平臺的實時數據流實踐》

1. 大數據時代下企業級數據面臨的主要問題和挑戰;

2. kafka connect 在大數據時代的數據流的優勢和不足;

3. 大數據平臺上的kafka connect 實踐案例:

       1)kafka connect 下數據倉庫greenplum 同步實踐以及優化策略;

       2)kafka connect 下 hive 同步實踐;

4.  DataPipeline 做了哪些大數據相關工作,遇到的坑以及相應的解決方案;

5.  總結以及DataPipeline 未來在大數據領域的相關工作。


 

 張勇華.png

張勇華 

唯品會消息平臺架構師

畢業於武漢大學,目前擔任唯品會消息平臺架構師。從事消息系統的設計和研發有4年多的時間,對Kafka、RabbitMQ、RocketMQ等消息中間件產品擁有較豐富的實踐經驗。

 

演講主題:《基於Kafka1.0建立企業級消息系統平臺的思考及實現》

1. 隨着業務系統接入增多,對集羣和元數據資源(Topic/Group)的管理顯得尤爲重要,急需建立統一平臺來管理系統資源及認證授權接入服務;

2. 提升併發消費場景下的高可靠,及消費異常後如何優雅解決消費重試問題;

3. 如何實現延時消息的投遞功能,改善延時精度的方式;

4. 原生kafka支持組間廣播對動態增長的業務組申請造成困境,如何實現組內廣播來改善現狀;

5. 集羣故障時如何快速有效遷移服務等問題介紹。

 


 秦江傑.png

秦江傑 

阿里巴巴實時計算平臺高級技術專家

秦江傑,阿里巴巴實時計算平臺高級技術專家。碩士畢業於卡耐基梅隆大學,曾任職於LinkedIn參與Apache Kafka開發,Apache Kafka PMC member。

 

演講主題:《詳解Flink基於Kafka事務的嚴格一次語義實現》

在流處理系統中,端到端的嚴格一次的語義只有當輸出的Sink支持時纔可以實現。在Kafka 0.11中增加了對事物的支持,使得其他系統可以利用這一特性實現嚴格一次的語義。本次分享將詳細介紹Flink是如何利用這Kafka一特性來實現端到端的嚴格一次語義的。



歐陽武林.png

歐陽武林 

網易大數據平臺架構師

曾就職於中國移動、51信用卡,主要從事雲計算平臺開發相關工作。目前就職於網易,主要從事大數據平臺開發。


演講主題:《Kafka 在網易雲上的實踐》

1.Kafka上雲面臨的挑戰和機遇;

2.網易雲Kafka架構實現;

3.網易雲Kafka的關鍵問題解決之法;

4.未來規劃。



時間&地點

時間:2018年10月21日,13:30簽到

詳細地址:上海市長寧區金鐘路968號凌空SOHO12號樓11層


活動報名

添加DataPipeline君微信:datapipelien2018,拉你進現場活動羣


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章