大數據的需求熱度，從來都是這個時代的浪尖。然而由於大數據系統的複雜性，一度導致業界大數據已死的各種聲音不斷。尤其是當MapR被HPE收購，Cloudera公司股票持續跌成狗，使得這種聲音進一步放大。
其實，大數據的需求一直在，只是傳統的大數據實現系統需要考慮重新構建。而容器依靠其自身的標準化，一次構建，隨處運行的能力，使得非常適合大數據系統的構建和管理。容器技術當前正是那隻火遍全球的當紅辣子雞。
數據容器化，大勢所趨
目前已經有大量的大數據系統原生支on Kubernetes。例如Spark官方版本，從2.3開始，就可以無需任何修改直接跑在K8s上。並且，將“更好的在k8s上運行”作爲後續版本的重要特性方向。可見k8s對大數據系統的影響多麼重要
隊友已在加速，你感受到了麼？
由於容器技術對大數據的這種良好助推作用，目前已經有不少技術嗅覺敏銳的頭部玩家，開始嚐鮮並從中撈取第一桶金。
例如：中國聯通的容器化大數據平臺實踐；京東在使用Kubernetes管理大數據中心；網易基於Kubernetes和Docker構建構建猛獁大數據平臺；茄子科技直接將大數據任務大量在生產環境跑在K8S之上；華爲雲DLI服務容器化，阿里雲Flink on K8s等。這些可見的信息都表明這個大方向已經開始加速了。如果你還在艱難的維護着你那龐大的大數據系統，那麼你需要停下里看看隊友們在幹什麼。
BigData on K8s 最直接的優勢不是性能提升，而是成本的下降。
（1）高利用率的資源調度平臺。原來分散在多個集羣中的業務，可以合併到統一的集羣中，加上長任務短任務混部，及不同業務高峯時間的削峯填谷，來最大化提升集羣資源利用率。
（2）統一的技術棧。原有的Yarn調度，節點管理技術，與當下宇宙標準K8s集羣調度系統，目標是一樣的。但是維護2種技術棧，就得增加研發人力成本，統一的基礎設施技術棧，降成本效果明顯。
（3）容器自動化能力。標準化是推動 IT 技術持續發展的原動力之一。容器技術本身理念就是一次構建，隨處運行，這個與標準化理念是一致的。通過容器技術的標準化實施，並整合容器生態，建立運維繫統。可以很好的降低業務系統的運維成本，甚至運維工具本身的構建和使用成本。
容器+存算分離，要速度也要成本
當前的大數據計算將計算和存儲結合在一起的模式，是分佈式架構構建的一種嘗試。但是當社區修改HDFS以支持Hadoop 3.0的ErasureCode（糾刪碼）時，即接受了：不(Wu)再(Fa)支持就近讀取的策略。它就代表了一種新趨勢：爲了適應不同場景，存儲空間和算力配比應該是靈活的，可以分別獨立的構建。
IDC中國報告指出：“解耦計算和存儲在大數據部署中被證明是有用的，它提供了更高的資源利用率，更高的靈活性和更低的成本。”這一論斷與很多企業正在進行的大數據架構變革不謀而合。
同時，伴隨着容器技術的成熟及在各行業深入廣泛的應用，企業愈發意識到容器技術的優勢能很好解決大數據平臺當前所遭遇的困境。容器以其更小顆粒度的算力分配、更輕量和快捷的部署方式、靈活的任務調度等特點，可以進一步提升資源利用率，並輕鬆應對大批量任務併發時的算力擴容。
鯤鵬之上，火山助力
華爲雲自主研發的鯤鵬處理器，具備多核高併發能力，可爲用戶提供包括裸金屬服務器，雲服務器，容器和Serverless在內的多種粒度的算力，大數據分佈式場景性能可有大幅提升。
其中鯤鵬大數據容器，具有極致彈性的調度能力，可以每秒發放1000容器，減少資源彈性等待時間，提升計算效率。而裸金屬容器技術，由於大幅降低虛擬化的開銷，可更進一步的提升服務器執行業務的利用率。採用Serverless模式的容器集羣，可以很好的支持按需彈性無限擴展，用來執行Spark大數據任務，輕鬆處理PB級數據作業。
Volcano（火山）項目是華爲容器團隊開源的一款K8s增強型調度器。初衷爲了解決原生K8s不支持Gang Scheduling問題，後來由於AI和大數據等業務領域也開始對K8s有極大的述求，團隊成員通過總結具體場景實踐經驗，打造有價值的技術產品，並貢獻社區。
Volcano通過高性能的調度算法，達到更高的容器調度速度。同時，自帶的多種算法插件，可以極大的提升集羣資源利用率。同時，Volcano也補齊了K8s原生調度器與Yarn調度器間的Gap，例如資源的隊列管理（Queue）能力等。爲大數據容器解決方案，插上了帶火的翅膀。
大數據世界，容器來助威
BigData Pro是業界首個鯤鵬大數據解決方案，該方案採用基於公有云的存算分離架構，以可無限彈性擴容的鯤鵬算力作爲計算資源，以支持原生多協議的OBS對象存儲服務爲統一的存儲數據湖，提供“存算分離、極致彈性、極致高效”的全新公有云大數據解決方案，大幅提升了大數據集羣的資源利用率，能有效應對當前大數據行業存在的瓶頸，幫助企業應對5G+雲+智能時代的全新挑戰，實現企業智能化轉型升級。
其中，鯤鵬大數據容器解決方案，作爲BigData Pro解決方案中重要一員，更是提供了完整的容器化大數據解決方案。
在2019年度中國數據與存儲峯會年度頒獎典禮上，華爲雲BigData Pro大數據解決方案榮獲了“2019年度大數據產品金獎”，也再一次展示了華爲雲在大數據領域的不凡實力。
點擊這裏，瞭解更多精彩內容