MyRocks在網易使用和優化實踐

主題:MyRocks在網易使用和優化實踐

大綱:

1. 企業選擇一種新型數據庫,從0到1的實踐過程中經過哪些階段會更穩妥
2. MyRocks在網易的應用,會帶來哪些優勢
3. MyRocks和傳統的InnoDB相比,需要配置哪些周邊工具
4. 相比INNODB,MyRocks更適用哪些場景
5. MyRocks的高可用方案,王老師更推薦哪種




聽說3306π要搞事情了

是啊,馬上要搞3306π深圳站了

啊,是嗎?哪天啊,在哪裏辦,怎麼報名?

12月19日,就在深圳南山區海岸城,點文末的原文鏈接或者掃描二維碼就可以報名了,一起來吹吹牛逼。

嘉賓自我介紹

王剛  數據庫內核工程師 網易杭州研究院數據庫內核開發工程師,4年數據庫技術開發經驗,爲網易傳媒、音樂等業務提供數據庫系統性能、穩定性與可靠性的支撐,擅長 myrocks/innodb 存儲引擎,專注數據庫及存儲領域,喜歡探究底層原理,相信源碼之前了無祕密。

01

可否請王老師分享下,企業選擇一種新型數據庫,從0到1的實踐過程中經過哪些階段會更穩妥呢?

我介紹一下MyRocks 在網易內部從0到1落地的過程,供大家參考。業務需要選擇一種新型數據庫,通常來說是現有的數據庫在某些方面存在痛點了,比如雲音樂的實時推薦場景,這是MyRocks落地的一個比較重要的場景。該場景寫流量很大,RT 敏感。首先考慮的是LSM 模型的數據庫,比如pika,myrocks,hbase。除了滿足性能要求之外,穩定性、後續的運維難度、和公司其他組件的兼容程度這幾個方面也是需要考慮的。實際性能測試下來MyRocks 性能滿足需要,並且屬於MySQL生態,運維上手快,DDB(網易內部中間件)以及binlog複製都可以繼續使用。基於內核組對MyRocks充分的穩定性測試和異常模擬測試,業務最終選擇了MyRocks。

02

請問王老師,MyRocks在網易的應用,會帶來哪些優勢呢?

節省存儲成本是其一大優勢,以網易傳媒某業務爲例,業務之前使用RDS,表中存有longtext類型的字段且數據量較大,RDS最大規格爲2T,按數據增長量,已不能滿足需求。當時可供於選擇的有兩種解決方案,分別爲MyRocks和DDB(網易內部中間件),由於阿波羅業務數據庫使用場景多爲等值查詢,最終考慮資源及DDB業務還需要在一定程度上變更使用姿勢,符合Myrocks大數據量高壓縮比及讀性能也能滿足業務需要,最終選擇了Myrocks, 磁盤空間佔用由1.8T降至630G,節省了很多存儲成本。  

03

MyRocks和傳統的InnoDB相比,需要配置哪些周邊工具嗎?   

在 MySQL 5.7 上適配的MyRocks,目前還缺少物理備份恢復工具,Percona 在 8.0 版本xtrabackup 才支持備份MyRocks。Facebook 5.6 版本提供一個myrocks_hotbackup python 腳本工具,但是這個工具在5.7上使用存在問題,網易內部是在xtrabackup 2.4.8上適配了MyRocks 的備份恢復。

04

MyRocks發展已經比較成熟,相比INNODB,MyRocks更適用哪些場景呢?

MyRocks 在網易內部主要應用在以下場景,供大家參考:

i. 推薦類場景,這類業務通常寫流量很大,並且數據量還不小,RT 敏感,用Redis成本太高,這類場景可以考慮使用MyRocks。

ii. 大數據量場景,這類業務通常是一些歷史數據,數據量非常大並且增長很快,原來可能用innodb 存儲,成本比較高,而且經常需要擴容,運維成本也高,這類場景適合MyRocks。

05

MyMyRocks的高可用方案,王老師更推薦哪種呢?              

MyRocks 其實上層還是 MySQL嘛,因此基於binlog 的異步、半同步複製依然可以繼續使用,網易內部還適配了MGR for myrocks ,也可以作爲一個方案。

掃碼報名

點擊文末“閱讀原文”鏈接亦可報名

參與活動

學習新技能

贏取羅小波新書《MySQL複製技術和生產實踐》和愛可生精美杯子

活動規則

《年輕人不講武德?12月19日來3306π深圳站學點真本事》下方留言

寫下您對本次活動的建議

或是想向嘉賓提出的問題

有效留言被選中後,點贊數超過30

按點贊數排名取前10名

贈送禮品

二者任選其一

關於「3306π」社區


圍繞 MySQL 核心技術,將互聯網行業中最重要的數據化解決方案帶到傳統行業中;囊括其他開源技術RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享乾貨知識,即便是贊助商,也要求如此,拒絕放水

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章