存儲成本降低80%,有贊數據中臺成本治理怎麼做的?

導語 | 隨着直播電商行業的興盛,有贊業務高速發展。但同時數據倉庫中存儲資源和計算資源消耗也非常高,甚至一度超過了整個平臺業務的增速,顯然不是一個可持續發展的態勢。本文是對有贊技術副總裁,騰訊雲最具價值專家TVP——沈淦老師在雲+社區沙龍online的分享整理,爲大家介紹有贊在數據中臺成本治理上的實踐,與大家一同交流。

https://v.qq.com/x/page/k3124wjyelx.html

點擊查看完整直播回放

一、背景介紹

1. 數據中臺機器資源情況

從整體的資源角度看,有贊數據中臺機器數量在 1500 臺左右,其中大部分是物理機,也有一部分是虛擬機,同時有 100 個左右的應用、4 萬個核,數據規模在 15 PB 左右。

從規模上來看屬於不大不小的一個數據集羣。從業務的特徵上看,離線計算、實時計算、平臺應用、在線服務等都依賴於這些資源。其中離線機器的成本佔了將近 50% ,其他的部分相對來講佔的是小頭。

2. 數據成本增速超業務

在我們上半年的治理中,主要是針對離線計算場景,實時計算的部分目前在規劃啓動中。

根據目前的業務情況來看,數據中臺資源上投入成本的增速比我們整個業務發展的增速還要快,這就導致了它的不可持續性,這也是我們進行成本治理的一個主要原因。

原文鏈接:【https://www.infoq.cn/article/0OBqvvhUjcRwpIpT719H】。未經作者許可,禁止轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章