從騰訊雲遷移到騰訊雲,開心消消樂的雲端遷移戰事

這是一段彼此成就,相互欣賞,最後雙向奔赴的故事

再沒有比一段跨越時空,經歷世事蹉跎,最後仍然覺得“有你真好”更刻骨銘心的了。

沒錯,我們今天講述的就是騰訊雲和樂元素之間的一段十年感情史”。

雲計算初體驗

提到樂元素,聽過的人可能不多,但是到開心消消樂,估計無人不知無人不曉作爲一款深受玩家喜歡的國民遊戲,開心消消樂自2014年初上線移動版至今,已經多次獲得App Store及各大安卓平臺精選推薦,下載用戶量超8億,始終穩固在中國iOS遊戲榜單TOP20內

樂元素作爲其母公司,從2009年創立至今,在全球社交遊戲圈已經有了不小的名氣在樂元素髮展的過程中,從一開始就與騰訊結緣,並保持了長期的合作伙伴關係。

那時騰訊雲還不叫騰訊雲,那時初出茅廬的騰訊雲叫騰訊開放平臺。

“樂元素從PC到移動互聯網時代的成長與騰訊開放平臺的幫助密不可分。騰訊開放平臺擁有PC+移動整體的服務體系,能夠幫助開發者降低用戶獲取成本、運營成本,獲得盈利能力,因此騰訊開放平臺是一個非常適合創業者成長的地方業內人士表示。

在合作的初期,主要還是以網頁遊戲、社交遊戲爲主,其中《開心泡泡貓》在PC平臺的最高峯值用戶數曾一度飆升至4700萬。隨着移動互聯網的浪潮,樂元素意識到移動端的重要性,開始嘗試頁遊和手遊的跨屏融合,《開心消消樂》就是其中的典型代表。

雖然強大的社交關係鏈以及微下載能力對於開心消消樂的快速發展起到了重要的作用,但是,基於騰訊開放平臺的低成本獲取用戶,降低用戶成本等方面也是功不可沒,而這恰恰是一款遊戲早期爆發的關鍵。

在2014年那個移動遊戲大行其道的時代,無數一度聲名鵲起的手遊都很快就被類似的遊戲所替代。但是開心消消樂作爲一款後勁十足的遊戲,之所以能將用戶留住,並吸引大量新玩家加入,主要在於能從競爭產品中脫穎而出的關卡設計、畫面特效,以及流暢的玩家體驗。

其中流暢的用戶體驗最爲關鍵。

而爲了讓遊戲的體驗更好,遊戲廠商往往不會選擇從零開始自己開建各種加速節點,他們更傾向於選擇雲廠商已經建設好的過山隧道。因此高帶寬、多地多節點部署、可實現跨網絡的CDN就成了一款成功手遊的標配。

這一點,以開心消消樂所採用的騰訊雲CDN爲例,依託QQ、微信、QQ空間、騰訊視頻等業務的積累,已陸續建成的分佈各地的自建節點、支撐起上述業務每天超過十億級用戶的加速服務。

據透露,在早期,開心消消樂在CDN上的壓縮後帶寬峯值依然近百G,與那時的QQ農場數據頂峯相近,但經過流量壓縮、靈活計費,整體CDN費用下降達80%。

嚐到甜頭的樂元素決定全面上雲。從2015年2月開始,從最初的單純使用雲服務器到現在數據庫、存儲、網絡、安全等,樂元素基本實現全雲化服務。

關係升級

時間來到了2021年。

就這樣一款在當初被稱爲現象級的三消遊戲,不知不覺已經火了超過7年。

再先進的技術架構在時間面前也不值一提。

雖然《開心消消樂》一開始部署在騰訊雲OPEN區(騰訊開放平臺時的數據中心)的業務架構爲2015年最優的技術架構,但隨着技術發展該架構出現大量維護難點,如:數據庫版本低、雲服務器使用本地盤、支付業務因人員變動無人瞭解業務接口情況等。

從業務的角度來說,時移世易,現在的遊戲用戶對體驗,時延以及特效等的要求,已經不是7年前可比,而這亟需對原來的老舊技術架構做全面的升級。

業務的迫切需求倒騰訊雲和樂元素技術團隊一起在思考,如何用更好的技術架構來服務開心消消樂業務的繼續發展。

從騰訊雲遷移到騰訊雲成爲當時可行的選項也就是從原來的老舊的OPEN區,遷移到擁有全新技術架構的廣州七區。

不難理解,因爲開心消消樂在發展,騰訊雲這些年也在發展,而且服務的客戶類型也從最初的遊戲發展到各行各業。經過數以萬計客戶的打磨,騰訊雲在服務包括遊戲行業在內,已經積累了廣泛的經驗,並在技術架構層面,也做了全面的演進,而廣州七區就是一個理想的選項。

但是,即便是同一個雲內的遷移,難度也不小。

首先,騰訊雲OPEN區爲業務發展前期獨立的地域,網絡架構複雜,《開心消消樂》在OPEN區基礎網絡內,同騰訊雲當前廣州地域VPC內機器內網互通難度大。

其次,業務遷移需要不停服的情況下進行,同時需要保證遷移過程中數據一致性、可用性等問題,這些限制條件給遷移工作帶來極大的難度。

這其中,尤以數據庫的遷移難度最大

據樂元素內部人員介紹,消消樂項目早期用的是騰訊雲自研Memcached數據庫作爲主存儲,隨着數據量的爆發式增長,內存數據庫已無法完全滿足業務需求,在降成本和數據庫生態的多重考慮下,最終決定將消消樂項目遷移至雲數據庫TendisTendis是騰訊雲自研、完全兼容Redis協議的高性能分佈式數據庫,其中冷熱數據分級存儲功能,可完美平衡性能與成本的衝突。

儘管Tendis爲客戶帶來了諸多收益,但還需面對異構數據庫帶來的命令兼容性和冪等問題,爲了儘可能降低客戶的應用改造成本,騰訊雲數據庫團隊派專人爲樂元素提供命令兼容性的改寫方案,並在遷移流程中規避數據寫入的冪等問題最終協助客戶順利完成PC業務和應用寶業務的數據遷移。

此外,還要考慮海量數據校驗如何做到不影響客戶線上業務。

樂元素消消樂業務總共需要遷移30 TB+數據,並且是從Memcached協議遷移到兼容Redis協議的雲數據庫Tendis,除開異構數據庫不停服的遷移挑戰外,還有就是接近4千億Key的數據校驗難題。

頂着客戶業務可用性優先的壓力,在進行海量數據一致性校驗時,騰訊雲專門爲消消樂項目開發了一套數據校驗平臺,支持實時探測業務主庫的性能負載,並能精確的控制數據校驗任務的性能消耗一旦主庫性能超過恆定利用率的10%,數據校驗平臺將動態調整數據校驗的併發數,最終在不影響業務性能的前提下,順利完成了海量數據的校驗工作。

雙向奔赴

從騰訊開放平臺到騰訊雲,名字雖然有了變化,但不變的永遠是對於用戶的重視。

從樂元素和騰訊雲合作至今,已經跨越十多年,當初的騰訊雲已經成長爲國內領先的雲廠商,而樂元素已經從一個年輕的初創團隊成長一家知名的遊戲公司。

但這段彼此成就,雙向奔赴,注重長期主義的兩家公司,無疑在雲計算領域成就一段佳話。

對於樂元素:通過使用雲服務,不僅讓消消樂等遊戲的獲取用戶成本大幅降低,同時,開發運營等服務成本也全面下降。

比如,將原來的機型升級 S1 機型升級爲 SA2/SA3, 升級換代後的服務器性價比更高,單機能力和容量大幅提升, 機器成本也大幅降低,同時,機器隔離性和可靠性更高。

另外,將CMEM 遷移到 Tendis,存儲系統不僅穩定性大幅提升, 運維人力成本大幅降低, 去除了衰退期產品造成的系統風險,冷熱分離架構成本縮減 30% 以上。

對於騰訊雲來說,從2009年服務樂元素開始,不僅從它身上了解到遊戲行業的用戶訴求,還有效磨練了雲計算產品和解決方案,爲服務更多行業用戶提供極具價值的一線經驗。

有細心的同事做了統計,這個項目共歷時107天,騰訊雲TAM團隊共計溝通拜訪20+次,變更節點駐場保障4次,解決項目中問題30+例減少本地盤老機型機器129臺,佔本地盤老機型機器總量的20%。

截至目前,開心消消樂PC業務+手遊聯運業務已經全量運行在資源保障度較高的廣州七區。

數據不驚豔,甚至有些瑣碎,但正是這一串串微小的數據,讓持續了十年的“感情”更加真實,也讓一次的雲端遷移賦予了一個時代的烙印。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章