阿里雲 Alex Chen:數據就像浩瀚的宇宙

每天,我們都會遇到一些沒有答案的問題,比如:宇宙中有多少顆行星?

這個問題沒有最終答案,畢竟,僅僅是我們所在的銀河系就有60 億顆類地行星。

而在阿里雲智能資深產品總監、阿里雲存儲產品負責人 Alex Chen看來,今天人類生產生活中所產生的數據就像浩瀚的宇宙:數據量大,且不斷膨脹;隱藏着諸多難以預見的風險;同樣受到引力的束縛。而每一家企業都像一艘宇宙飛船,當翱翔在浩瀚的宇宙中時,需要行之有效的措施去應對不斷快速膨脹的數據、屏蔽各種風險和抗衡各種災難、擺脫數據引力束縛實現宇宙速度以及發現數據內隱藏的價值。

一、冷熱數據分層、發揮規模效應,幫助客戶降本

這是一個數據爆炸性增長的年代。據 IDC 發佈的報告顯示,中國數據量規模將從 2022 年的 23.88ZB 增長至 2027 年的 76.6ZB,年均增長速度 CAGR 達到 26.3%。如果對如此龐大的數據進行分類的話,可以分爲需要實時訪問的在線數據和不需要實時訪問的離線數據(比如歸檔類型的磁帶庫)。

目前,阿里雲對象存儲 OSS 上已經存儲了數十 EB 的數據,網盤與相冊服務 PDS 爲夸克、UC、阿里雲盤、中國移動雲盤等產品提供數據存儲服務,累計服務 8 億終端用戶。爲了更好地幫助客戶管理這些數據,對象存儲 OSS 提供了 5 種存儲類型。在線數據可以放在 OSS 的標準/低頻/歸檔類型中,離線數據則適合放在 OSS 的冷歸檔/深度冷歸檔類型中。

此前 OSS 歸檔類型中的數據在讀取時需要解凍,但歸檔直讀能力的發佈,使得解凍的步驟可以省去,直接對數據進行訪問。當需要對數據進行生命週期管理時,可以基於最後一次修改時間(Last Modified Time)以及最後一次訪問時間(Last Access Time)的策略創建生命週期規則,定期將存儲空間(Bucket)內的多個文件(Object)轉儲爲指定存儲類型,從而節省存儲費用。此外,OSS 歸檔類型還新增了同城冗餘規格,進一步提升了數據可靠性。

近期,阿里雲存儲發佈了 OSS 深度冷歸檔類型,目錄價僅爲 0.75分/GB/月, 是接近磁帶庫的價格,並且可支持百 TB/日解凍能力,無需冗長的解凍時間。

二、全方位的數據保護,應對多種安全威脅

安全可靠是雲存儲立身之本。爲了防範勒索病毒、系統故障、自然災害、運維事故導致的數據丟失和損壞問題,需要在雲上和本地的數據中心做統一的數據保護。通過 ECS 快照和混合雲備份 HBR,可以爲整機/雲盤/文件/數據庫等提供備份、容災保護。

同時,HBR 提供了備份不可篡改的能力,給備份數據多一層保護;還可以將備份數據進行冷熱分層,在保留時長滿足審計需求的前提下,達到降本增效的目的。當涉及到多賬號時,客戶可以方便地將快照共享給其他授權用戶,也可以使用 HBR 進行跨賬號的備份。

爲避免 region 級別的災難,必須做跨區域的複製。對象存儲 OSS 就有從一個 region 到另外一個 region 的 replication time control,即十分鐘之內這個 object 可以異步複製到另外一個城市,比如從北京複製到廣州。塊存儲 EBS 也具備同樣的異步複製的能力。

今年,阿里雲所有的快照、備份庫都逐步具備了同城冗餘的能力。數據可分別存放在 3 個數據中心,當其中 1 個數據中心發生故障時,仍能在其他數據中心讀取快照和備份數據,讓企業以最低的成本去實現高可用。

在對象存儲 OSS 中,有基於組織、用戶和資源的訪問策略。企業可以採取 Access Point 簡化共享數據的權限管理複雜度,通過 Control Policy 設定安全基線進行管控,各業務部門使用 OSS 必須強制加密、強制指定 TLS 版本訪問,並設置針對 VPC 的訪問管控,強制 ACL 設爲私有,防止 OSS 上數據泄漏。

三、存算分離,爲場景化性能加速

在不同業務場景下,企業對性能的要求也不一樣。一些企業應用負載(比如 OLTP、Web 緩存等場景)因爲更加靠近應用的前端,會更加註重實時性,對延遲特別敏感;而相對靠後端的大數據分析場景則對帶寬的需求更高,延遲敏感性相對較低。

1、電商場景:ESSD AutoPL 規格,引領 IO 性能彈性新方向

在 Severless 時代,存儲需要智能適配負載變化。四年前,阿里雲發佈了百萬 IOPS 的 ESSD 雲盤。它基於全新一代自主研發的分佈式存儲引擎盤古 2.0,適用於時延敏感的應用或者 I/O 密集型業務場景(如大型 OLTP 數據庫)。以典型的電商業務爲例,性能/容量耦合設計有以下挑戰:

  • 日常流量與業務洪峯差異巨大,平峯時期利用率低,存在大量資源浪費;
  • 大促期間業務峯值時間短,且難以評估峯值需求,存在業務受損的可能。

爲此,阿里雲推出了面向“Serverless”時代的 ESSD AutoPL 雲盤,在保持 ESSD 雲盤原有功能與性能的同時,實現了雲盤容量與雲盤性能的解耦。用戶可以在配置 ESSD AutoPL 雲盤容量的同時,根據業務需求自定義雲盤的預配置性能和性能突發,輕鬆應對電商日常運營、秒殺促銷活動等多種複雜場景。識貨 APP 就通過採用 ESSD AutoPL 雲盤,完美解決雙 11 流量洪峯問題的同時,成本相較於全部升級到 PL2 雲盤低 42%,且無需長期保有。

2、數據湖場景:存算分離架構下的性能最優解

前面說到,大數據分析場景有更高的帶寬需求。OSS 高吞吐和低延時的服務響應能力能夠有效支持各種熱點類型數據的訪問。爲了滿足更高的吞吐要求,OSS 還推出了 OSS 加速器功能,它可以緩存 OSS 中的熱點對象,適用於基因訓練、機器學習、大數據計算等需要大帶寬且數據重複讀較多的場景。

OSS 加速器是一個標準的服務端緩存服務,和計算完全解耦。同時,基於 OSS 智能元數據架構,OSS 加速器提供了傳統緩存方案不具備的強一致性,當 OSS 上文件被更新時,加速器能自動識別,確保引擎讀取到的都是最新數據。

在數據湖場景中,數據流動的前提包括協議上的兼容和元數據的兼容,因此多協議的訪問不可或缺。對象存儲是扁平化的元數據架構,一個 Bucket 裏可能有十億個文件,處理元數據(如文件重命名)時將耗費大量時間。作爲雲原生數據湖基礎,OSS-HDFS 全面融合大數據存儲生態,除提供對象存儲扁平命名空間之外,還提供了分層命名空間服務。分層命名空間支持將對象組織到一個目錄層次結構中進行管理,並能通過統一元數據管理能力進行內部自動轉換,大大縮短了數據處理鏈路。

3、模型訓練場景:CPFS 加速 AI 創新

不管是當前炙手可熱的 AIGC,還是自動駕駛,都離不開 AI 訓練。大規模的多機多卡並行訓練需要高性能文件系統支撐訓練過程中對數據的大吞吐讀寫需求。

阿里雲存儲自 2018 年開始大規模使用 RDMA 技術,並自研了 Solar-RDMA 協議,提供穩定的高性能存儲網絡。CPFS 先進的元數據和數據全並行架構,可以充分利用端到端的 RDMA 網絡優勢,實現 I/O 加速,使 PAI-靈駿智算訓練效率提升 3 倍。

文件存儲 CPFS 已經實現與 OSS 之間數據雙向便捷流動。在進行 AI 訓練時,可將數據存放在 OSS 中,經過預處理後 Lazyload(延時加載)至 CPFS 訓練,結果數據流動回 OSS 持久保存,降低數據長期存儲成本。

4、高性能計算場景:彈性文件客戶端助推雲原生算力提升

在 Serverless 時代,傳統文件存儲需要向着高密、彈性、極速演進。阿里雲文件存儲推出彈性文件客戶端(Elastic File Client,簡稱“EFC”),創新的端接入技術實現了高密計算端的穩定鏈接、性能隨計算規模彈性伸縮和極速掛載能力。

彈性文件客戶端的元數據緩存可以將共享文件存儲 NAS 的日常元數據操作加速 10 倍,4K 的小文件打開讀的速度提升 5 倍,接近本地 EXT4 的水平。創新的多客戶端間 Lease 技術,保證了引入緩存加速後,仍能有效支持多客戶端間的數據強一致性,保障 AI 並行訓練的結果正確性。分佈式數據緩存實現了吞吐性能隨着計算集羣的擴容而同步提升,突破文件存儲的吞吐上限。

此外,EFC 還通過 CNFS 和 Fluid 與阿里雲 ACK、ASK、ECI 集成,即開即用,可完美匹配科研、工業仿真、AI 訓練等領域的高密度計算需求,提升數據處理效率。

四、全鏈路可觀測精準查詢,提升運維效率

雲計算已然成爲新時代的水電煤,需要合理地使用和管理雲資源。應運而生的 Alibaba CloudLens,包括用量分析、訪問分析、異常檢測、安全分析、性能監控、數據保護六個模塊,讓企業在保障業務敏捷性的前提下,實現對 OSS/SLS/EBS/ALB 等雲產品的精細化運維分析,幫助客戶快速構建雲產品的可觀測能力、用好雲。

在千行百業的數字化變革中,越來越多的企業選擇在雲端構建 IT 系統,提高問題診斷速度、故障排查效率十分有必要。Logs、Traces、Metrics 作爲 IT 可觀測性數據的三劍客,基本可以滿足各類監控、告警、分析、問題排查等需求。日誌服務 SLS 作爲雲原生觀測分析平臺,可對 Log、Trace 、Metric等數據進行統一存儲和融合分析,並內置自動巡檢、異常實時通知、根因定位等功能,幫助企業快速排障。

要提升數據審計、監管場景下的運維效率,元數據索引能力的加強勢在必行。對象存儲 OSS 通過爲 Bucket 創建並維護獨立的元數據管理庫,並提供 9 大類元數據篩選條件,結合 5 種聚合輸出方式,幫助用戶在數十億的文件中,實現秒級的數據快速索引與聚合。此外,當有新文件上傳至 OSS 中,可在 10 秒鐘內自動更新至索引池。

在分享的最後,Alex 也代表阿里雲正式宣佈首屆數據洞察創新挑戰賽即日啓動,大賽分爲智能運維賽和數據管理創新賽兩個賽道,設立初賽、複賽、決賽三個環節,每個比賽有相應的賽題,根據參賽選手提交的代碼質量來評定。開發者可免費參加,總獎金池高達 20 萬元!(點擊這裏,立即參賽)

數字化邁向智能化,是雲計算新一輪變革的主線。在企業數字化轉型的道路上,阿里雲存儲將持續踐行“穩定安全高性能,普惠智能新存儲”這一理念,幫助企業翻開數字創新的下一篇章。

點擊立即免費試用雲產品 開啓雲上實踐之旅!

原文鏈接

本文爲阿里雲原創內容,未經允許不得轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章