2020年MongoDB中文社區年終線上大會全紀錄【附PPT及視頻回放】

2021年1月8日,MongoDB中文社區聯合MongoDB官方、錦木信息、Tapdata和華爲開展2020年MongoDB中文社區年終大會。

點擊下方鏈接

即可觀看線上會議回放

http://www.itdks.com/Home/Act/apply?id=5533

大會要點回顧

會議開場由社區常委會委員、北京分會主席李丹給大家介紹社區的基本情況,MongoDB中文社區是由技術大會、技術培訓、技術問答、原創博客、文檔翻譯和線上活動板塊組成,是專注於MongoDB的技術交流平臺。

MongoDB究竟是一個怎樣的數據庫?

話不多說,MongoDB究竟是一個怎樣的數據庫?MongoDB中文社區委員及WiredTiger存儲引擎專欄作者郭遠威爲我們進行整體解讀:在雲數據庫和NewSQL時代,該有的的核心特性MongoDB早就有了,而且更好用!

將集羣中的分片部署成複製集,實現故障自動恢復和高可用性。

原生分佈式架構,通過分片Shard實現水平彈性伸縮。

3.6的版本以後MongoDB就向ACID 4個特性的事務看齊了,所以MongoDB不僅適用於分佈式數據庫場景,也支持傳統關係型數據庫應用場景。

MongoDB多種“讀參考”模式,實現靈活的讀寫分離。

MongoDB模式自由,類JSON格式存儲(最接近真實對象模型),對開發者友好。

MongoDB在數據庫層面提供了強大的角色與權限控制,減少應用端的代碼開發。

MongoDB的Change Streams特性實現實時同步數據的功能。

MongoDB原生高可用及分佈式能力解析

在整體解讀完MongoDB的核心特性之後,來自阿里雲數據庫的夏德軍老師爲我們帶來MongoDB原生高可用及分佈式能力解析。

和很多傳統的開源數據庫,比如 MySQL,PG 不同,MongoDB 從一開始就強調高可用的設計,並把它作爲原生內置的能力,並持續迭代完善。

MongoDB 在設計和實現其高可用機制的同時,也融入了其可調一致性模型的設計,從而爲用戶在真實的場景中提供更豐富的一致性和延遲的選擇。

MongoDB 同樣提供優秀的原生水平擴展能力,其分佈式事務的設計更是下了一盤大旗:單文檔事務,混合邏輯時鐘,因果一致性, WiredTiger Application Timestamp,多文檔事務,分佈式事務……細節和原理還有很多,值得對數據庫原理感興的同學持續研究學習。

夏老師分享乾貨滿滿,小編隔着屏幕都能感受到參會朋友的激動,可惜乾貨太多暫時放不下,最簡單直接的還是推薦您直接觀看回放啦!

MongoDB企業級能力解析

接下來,由來自阿里雲數據庫的鄭涔老師爲我們進行MongoDB企業級能力解析。

Change Stream是MongoDB 3.6版本新增的實現實時數據訂閱功能。鄭老師從特性、原理、斷點續傳、分片集羣等方面對Change Stream進行全方位的解讀。對於大家關心的事務,鄭老師先介紹了MongoDB事務的發展路徑,從Snapshot reads、Recover to A Timestamp、非阻塞備庫讀幾個方面進行了介紹。並對MongoDB4.2新功能通配符索引進行介紹和原理解讀。此外,還對阿里雲MongoDB的發展和概要進行了介紹。

MongoDB內核源碼分佈式事務——華爲雲DDS團隊在MongoDB源碼能力構建上的實踐分享

來自華爲雲DDS團隊的崔鑫老師首先介紹了MongoDB作爲Modern Database的High-Level Design。一是混合邏輯時鐘(HLC)解決了不同Shard上物理時鐘偏差等問題,使ChangeStream成爲可能。二是MongoDB基於Raft協議去做複製集,WireTiger支持回滾到Raft的commit point。三是基於時間戳的事務,這是NewSQL的主流,WiredTiger和RocksDB都是原生具有時間戳事務接口的存儲引擎。崔老師介紹了MongoDB的分佈式事務,存儲計算分離架構的GuassDB(for Mongo)具有的特性,並分享了DDS在MongoDB源碼上的實踐。

DDS基於MongoDB 4.X基線版本,走國產化路線;兼容4.2/4.4,同時開發國產化特性。介紹了DDS的核心功能和2021年路標。

MongoDB4.4新功能介紹及Atlas雲服務概覽

MongoDB於2020年發佈4.4版本,我們把MongoDB 4.4視爲一個用戶驅動的工程。

MongoDB高級諮詢顧問張春立老師從MQL+驅動、擴展、性能、彈性、安全、運維+集成、工具等方面爲我們介紹了MongoDB 4.4的新功能,並介紹了MongoDB Atlas雲服務。MongoDB在Forrester Wave 2019年第二季度的報告中評爲數據庫即服務市場的領導者。目前,MongoDB Atlas可以在Google Cloud,Microsoft Azure和AWS上使用。

下午我們進入實戰經驗分享。

數據中臺企業應用我們用了MongoDB

首先由來自亞信科技的李鋒爲我們分享MongoDB在數據中臺企業應用上的實踐。李老師在接觸MongoDB之前很希望用一個可擴展的靈活的數據結構去存儲數據,遇到MongoDB可以算是一種很有默契的相識。

李老師從程序=數據結構+算法切入,分享MongoDB在移動計費系統上的應用以及在智慧工地建設上的實踐。建築集團數據量大,數據結構複雜,在智慧工地建設過程中面臨着數據割裂、層級傳遞週期長易變形、空間上零散、數據統計滯後等困難。通過基於MongoDB和Tapdata的實時數據平臺建設,實現實時信息直達總部,簡單靈活快速落地,運營數據實時積累,一目瞭然。

MongoDB在視頻行業的應用實踐分享

去年我們聆聽來自初始數據量幾百T的字節跳動的分享,今年我們邀請咪咕視訊的卞維冬老師來分享。咪咕公司是跨三網(互聯網、廣電網和通信網)的新媒體國家隊,有9億移動用戶基礎。視頻業務的不斷快速發展,業務形態也是一直在變化,新的互動對象在不斷產生,咪咕視頻非結構化數據佔比超過80%,還有些要考慮跟原來版本的一些兼容性問題。爲了跟上業務變化的一個節奏,咪咕視訊在程序設計上就進行了一些抽象和改進,也採用MongoDB作爲數據庫。面對直播帶貨聊天室,紅包、紅包雨和禮品贈送,彈幕、互動評論,每日簽到,積分兌換,影券贈送,附近的好友等,MongoDB結構靈活、直接記錄嵌套數據、方便的地理位置查詢很好地支持了相應的視頻業務場景。

此外,卞老師還從在線數據讀寫壓力、數據架構優化、數據備份幾個方面分享了MongoDB在運維管理中的實踐。

MongoDB on Kubernetes怎麼玩?

Kubernetes讓部署docker化的應用簡單並且高效,提供了強大的API,可以出色的完成各式各樣的調度、配置、管理、監控。爲我們MongoDB的快速部署、靈活調整、監控管理提供了堅實的基礎。那MongoDB on Kubernetes怎麼玩?來自Tapdata鈦鉑數據的周乙老師爲我們分享MongoDB在kubernetes中的架構,如何在kubernetes中快速部署各種規格的MongoDB,包括單機、複製集和分片集羣,並分享了在實踐過程中遇到的問題。

周老師還介紹了Tapdata正在做的事情,基於MongoDB構建實時數據服務平臺。

MongoDB:熱、溫數據的最佳歸宿

什麼是熱、溫數據?面對互聯網時代數據量劇增,如何保證數據庫性能?來自錦木信息的嚴冶君老師爲我們做了詳細的介紹和分析。爲什麼MongoDB是熱/溫數據的最佳歸宿?

MongoDB 靈活的數據模型,使得MongoDB可以承載多種數據源;

MongoDB 豐富的索引支撐,使得查詢快速響應;無論MongoDB作爲熱數據還是溫數據,都將會有不俗的反饋;

MongoDB 的在線水平拓展,使得應用無感知下,可以添加數據節點,並且進一步提升性能。

嚴老師還分享了自己的的意外收穫:一是歸檔,二是備份,三是災備,四是數據價值。

預告一下:錦木的歸檔平臺 MigrationPlatform 近期將會正式發佈開源版本。

OPPO萬億級文檔數據庫MongoDB集羣性能優化實踐

MongoDB丟數據、不安全、難維護?萬億級MongoDB集羣性能如何優化?來自OPPO的楊亞洲老師分享了網絡上部分用戶對MongoDB產生誤解的理解:

  1. MongoDB本身很優秀,但是很多DBA和相應開發把控不住;

  2. 國內系統性分析MongoDB內核實現原理相關資料欠缺;

  3. 網絡社會以訛傳訛,DBA或者相關開發自身把控不住演變爲MongoDB的鍋。

出於對MongoDB的瞭解和肯定,楊老師擯棄偏見,在內部推廣使用MongoDB,並通過自己紮實的技術功底和出色的表現,發揮了MongoDB的極大價值。

MongoDB機房多活方案-實現成本、性能、一致性"三豐收"

MongoDB線程模型瓶頸及其優化方法

並行遷移-集羣擴容速率N倍提升優化實踐

性能優化案例1.千億級核心元數據MongoDB集羣性能數倍提升優化實踐

性能優化案例2.萬億級數據量MongoDB集羣性能數十倍提升優化實踐

成本節省-記某服務千億級數據遷移MongoDB,百臺SSD服務器節省優化實踐

實戰案例信手拈來,楊老師實幹家的風格已讓評論區跪倒一片~

楊老師還分享瞭如何實現MongoDB與SQL融合的展望,以及踩坑分享計劃。歡迎各位朋友繼續關注楊老師的分享!

MongoDB中文社區表彰

在大會分享結束之前,MongoDB中文社區主席TJ唐建法公佈2020年MongoDB中文社區MongoDB應用案例及解決方案獲獎結果,並對2020年社區成員對社區的貢獻表示了極大的感謝,對年度突出貢獻成員進行表彰。正是MongoDB中文社區成員的齊心協力和不懈努力爲大家搭建了一個國內最大最活躍的MongoDB技術交流平臺!

在此對社區成員朋友和支持我們的社區用戶朋友再次表示極大的感謝!社區2021年將一如既往地將MongoDB最新資訊和一手實踐乾貨分享給大家,同時也歡迎更多有志於在MongoDB的耕耘的朋友加入我們!

2020年MongoDB中文社區

傑出貢獻獎及傑出創作獎

2020年MongoDB中文社區

傑出志願獎

2020年MongoDB最佳創新案例

2020年MongoDB優秀應用案例

歡迎關注和加入MongoDB中文社區!

大會資料包

最後的最後,重點的重點來啦!大家想要的年終大會PPT等會議資料包來啦!

2020年MongoDB中文社區年終線上大會PPT等會議資料包

鏈接:https://pan.baidu.com/s/1w5yHwqDbTBAhAtqEGXc8ew

提取碼:Ly0z

複製上方鏈接打開即可轉存下載學習!歡迎來社區技術交流羣繼續交流!

感謝MongoDB官方、錦木信息、Tapdata和華爲對本次活動的大力支持!還有諸多合作伙伴,感謝你們的支持和幫助!

主辦方介紹及鳴謝

MongoDB中文社區( Mongoing.com)成立於2014年,是大中華區獲得官方認可的中文社區,由博客、線下活動、技術問答、社羣、官方文檔翻譯等版塊組成。

中文社區的願景是:爲廣大MongoDB中文愛好者創建一個活躍的互助平臺;推廣MongoDB成爲企業數據庫應用的首選方案;聚集 MongoDB開發、數據庫、運維專家,打造最權威的技術社區。

Mongoing中文社區http://mongoing.com/

MongoDB是全球領先的現代通用數據平臺,旨在助力開發人員及其構建的應用程序釋放軟件和數據的潛能,總部位於紐約,在全球40多個辦公室中擁有超過2,100名員工。MongoDB有20,200餘家客戶遍佈全球100多個國家和地區,並擁有18,000名Atlas客戶和超過2,000,000名Atlas免費用戶。MongoDB數據庫平臺已下載超過1.25億次,MongoDB大學全球註冊用戶累計已超過150萬人。

MongoDB官網https://www.mongodb.com/

上海錦木信息技術有限公司是國內領先的 MongoDB數據庫服務提供商,是 MongoDB廠商官方合作伙伴。錦木信息始終堅守在數據技術領域紮實地實曨和前行,成爲國內 MongoDB領域的新興技術力量。服務的客戶廣泛分佈於金融、電信、零售、航空等行業,助力用戶完成從傳統IT架構向互聯網架構的順利轉型。

上海錦木信息技術有限公司http://www.jinmuinfo.com/

Tapdata,是基於MongoDB 的實時ETL及數據服務平臺工具。我們的產品能夠幫助那些缺乏專業數據工程師的企業提供產品化的數據解決方案。實時雙向的數據同步+簡單的數據治理及建模+無代碼API服務式交付+百TB級亞秒級的性能,無論您是爲您客戶構建數據統一平臺,還是構建一個橫跨BU的企業級數據中臺,Tapdata都可以爲你提供低成本快速落地的一個有效技術方案。

深圳鈦鉑數據有限公司https://tapdata.net/

華爲創立於1987年,是全球領先的ICT(信息與通信)基礎設施和智能終端提供商。

華爲雲數據庫基於華爲雲平臺,致力於提供高可靠、高性能、高可用的雲數據庫服務,產品包括開源RDS數據庫、自研GaussDB數據庫。其中自研GaussDB系列提供全生態、全開放的數據庫生態選擇,涵蓋MySQL、PG等主流關係型數據庫,以及Mongo、Redis、Cassandra、Influx主流非關係型數據庫。

華爲技術有限公司https://www.huaweicloud.com/product/dbs.html

合作伙伴

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章