雲原生時代(六): 機會與思考

上文主要介紹了Kubernetes與容器編排之戰,本文的最後一部分將系統性的總結雲原生能帶給我們什麼樣的未來,相關的創業和投資機會在哪裏。

每一次IT產業架構的變革都會帶來巨大的機遇和行業洗牌的挑戰。過去的三四十年間,IT業經歷了多次重大的變革,包括20世紀七八十年代從大型機向小型機的轉移、九十年代C/S架構的普及,以及21世紀初互聯網的興起,先後造就了IBM、思科、惠普、Oracle、EMC、SAP等巨頭企業。

歷次IT技術革命還有個共同特點:無論原有的基礎軟硬件公司此前有多麼牢不可破的壟斷地位,一旦不能符合新的IT技術變革的趨勢,洗牌在所難免。

現代雲計算的浪潮開始於2000年以後,已經造就了VMware、ServiceNow、Salesforce、Shopify等數百億美金的明星企業,以及無數的獨角獸公司。

雲計算是通過互聯網的方式按需交付基礎設施(硬件/服務器)、存儲、數據庫和各種應用服務,通常這些服務是由AWS、Azure等公有云或者私有云平臺提供的。

而云原生是一種理念和架構,用於以針對雲環境優化的方式組裝上述所有基於雲的組件。因此雲原生也是一個目的地:對於那些希望實現基礎設施和流程現代化,甚至組織文化現代化的企業來說,最終的目標是仔細選擇最適合其具體情況的雲技術。

要從雲計算中獲得最佳效果,需要使用雲原生架構;雲原生的普及又會促進雲計算的加速發展。

從統計數據和發展趨勢來看,雲原生被接受的程度和普及速度正在大大加快,例如下圖顯示,自從2016年以來容器的使用量每年都在快速上升。IDC預計,到2022年90%的應用程序將採用微服務架構和第三方代碼,35%的生產應用程序將誕生於雲端。由於容器和敏捷方法的採用,預計2018-2023年間將誕生5億個新應用程序。由數字化轉型,以及接受和採用新技術的需求驅動,雲原生將更深入地滲透到大型企業組織中。這意味着雲原生技術和方法可能會遵循敏捷和DevOps的模式,越來越多地吸引更多的利益相關者,包括管理者和業務線領導人,在未來幾年內覆蓋一半或更多的組織。

各種場景容器使用量都在逐步上升

但目前不是所有的雲計算技術和產品都能很好的滿足雲原生架構分佈式、自動化、輕量化的要求,傳統的IT基礎設施正在受到越來越大的衝擊,例如傳統集中式數據庫正在逐漸被分佈式數據庫所取代,虛擬機技術受到了容器的巨大沖擊,分佈式監控系統完全替代了傳統的監控產品,而傳統的安全產品也遠遠無法滿足雲原生安全性的要求。

還需要注意的是,雲原生的概念不僅僅只意味着容器、Kubernetes或Serverless,也爲下一項技術留下了足夠的空間。


雲原生投資的分層

對於大多數軟件開發組織來說,仍然處於採用微服務和容器的早期階段。新機遇一方面源自於雲原生在各行各業的應用,一方面則是雲原生相關新的基礎設施。

CNCF全景圖呈現了比較完整的雲原生項目和分類,我們可以將其簡化成如下圖所示的幾種大的分類:

一共分爲AppDev & DevOps;Management;Runtimes;Infrastructure and Services;Serverless;Observability;Security八個大的模塊。

從廣義的角度來講,雲原生應用的設計、開發、管理、運維、分析與傳統應用有非常大的不同,生態的每個環節、技術的每個領域都會有許多機會,例如雲原生應用的設計、諮詢、開發、培訓,需要有方案商、供應商、實施商;在基礎設施層面,數據庫、開發工具、核心中間件、安全產品等等都會有巨大市場需求,例如Service Mesh+安全、Serverless+安全、容器+安全、多雲+安全,例如雲原生數據的分析處理,例如雲原生架構的災備管理。

我個人將雲原生的生態分爲三層:

• 技術層

技術層包括雲原生技術相關的基礎設施,主要分爲兩種類型:

1、原有技術的替代品:例如ETCD取代傳統的數據庫

2、全新基礎設施:新技術相關產品,例如Istio和OpenFaaS

• 應用層

應用層主要是雲原生在各行業的具體應用。

• 服務層

包括雲原生相關的培訓、諮詢、認證等相關服務。

下面我重點講講技術層和應用層。


雲原生技術層

下面的表格裏代表性的列舉了雲原生技術層的幾個領域及相關項目。

下圖展示了當前這些項目的市場佔有率情況。

可以看到技術層涉及的範圍非常廣,機會非常多,本文僅展開介紹其中我比較看好的一個領域-雲原生安全。

據CNCF統計,採用容器技術的挑戰中,開發團隊面臨的文化挑戰、安全性、複雜性、就緒性和監控分別排在前五位。

使用容器的挑戰

在雲原生架構中,安全問題顯得尤其突出的原因有以下幾點:

1、快速遷移到雲原生架構對企業安全狀況和運營產生了深遠的影響。在容器、微服務和編排框架的世界中,以持久“狀態”運行在“服務器”上的“應用程序”的概念已經過時。現在,該應用程序或服務是一個分佈式系統,由多個組件組成,這些組件運行在數量可變的節點上,處於幾乎恆定的變化狀態。依賴於機器隔離和可預測的系統狀態的傳統安全控制是無效的。對服務到服務的通信視而不見的安全策略以及缺乏水平可擴展的控件,根本無法跟上當今微服務應用程序的步伐。

2、隨着企業將工作負載從數據中心轉移到AWS、Google Cloud Platform和Microsoft Azure,它們已經改變了購買安全性的方式。他們需要獨立於平臺的安全工具,這樣就不會被綁定到特定的雲平臺中。

3、複雜系統可以創建大量的警報和事件日誌,這會是一項驚人的任務。安全項目被堆積如山的繁忙工作所淹沒,分析師們疲憊不堪。隨着分析師對驚人的數據量變得不敏感,真正的問題就從他們的手指間溜走了。

4、DevOps是一種協作方法,它將開發人員和IT操作統一起來,以加快應用程序的構建、測試和部署,它也影響了IT安全。當開發人員可以直接將他們的應用程序部署到生產服務器上,因爲業務敏捷性需要它時,他們就不能停下來找出安全問題。DevOps提供了一種完全不同的安全方式,安全自動化有很多機會。

爲了在雲本機環境中保護業務資產,組織必須將安全實踐和技術與它們要保護的系統納入體系結構中。正如DevOps支持持續開發和部署一樣,“DevSecOps”也必須支持持續的安全管道。這意味着要建立全新的方法、功能和工具,以確保旨在保護雲原生系統的解決方案呈現以下基本特徵:

• 全局的實時可見性:局部的或事後的可見性是不夠的。無論位於何處,基礎架構層和應用程序都必須可見。

• 快速、迭代的反饋循環:反饋循環允許安全措施不斷適應快速變化的環境。

• 解決安全問題的工程方法:自動化、連續測量和受控實驗將是解決整個企業安全問題的主要方法,取代手動分析和控制更新。

因此,像Netflix、Lyft和Square等組織已經開始將雲原生安全作爲工程問題來處理,使用自動化來避免這些陷阱,並使安全團隊更加有效。他們還規避了將檢測、響應和開發團隊分開的煙囪式結構,在構建安全檢測機制並將它們與響應編排集成時遵循DevOps的思想。

來自Netflix的安全檢測組件示例

Kubernetes官網上認爲雲原生的安全分爲4C,即代碼、容器、集羣、雲四個層級。

CNCF全景圖中安全與合規子分類裏包含的項目如下圖所示。

像在我多篇文章裏曾經提及的新一代雲安全公司,市值189億美金的CrowdStrike,直接將自己定義爲雲原生的端點保護平臺(Cloud-Native Endpoint Protection Platform),以此同傳統的端點保護產品區分開來。

下面我介紹幾家和雲原生安全相關的初創企業。

1、Capsule8(B輪)

Capsule8是一家由經驗豐富的黑客和安全企業家創建的高新科技初創型企業,總部位於紐約布魯克林,成立於2016年秋季,在2018年8月獲得1500萬美元的B輪融資。

Capsule8開發了業界第一個也是唯一一個針對Linux的實時0day攻擊檢測平臺,可主動保護用戶的Linux基礎設施免受攻擊。Capsule8實時0day攻擊檢測平臺可顯著改善和簡化當今基礎架構的安全性,同時爲未來的容器化環境提供彈性的支持。

混合雲架構已經成爲企業IT基礎設施的重要架構,但其複雜性也使企業面臨多種攻擊的風險,根據Capsule8與ESG Research贊助的一項新研究表明,僅2017一年就有42%的企業報告了混合雲環境受到攻擊,28%的企業表示0day攻擊是這些攻擊的起源。

混合雲環境由於存在多雲服務商,缺乏中心控制和完整的合規性規劃,存在邊界模糊,訪問策略不一致等問題,加上公有云的暴露面增大,攻擊者容易通過攻擊薄弱點進入,這也是近年來如軟件定義邊界SDP、移動目標防護MTD等新方案興起的原因。

無論是傳統環境,還是混合環境,防護利用0day漏洞的高級威脅需要企業安全團隊全方位持續防護資產、獲得環境的可視性,檢測惡意行爲。

Capsules8平臺整體架構圖如下所示:

假設客戶生產環境是一個混合雲環境,服務器部署於客戶側數據中心、公有云AWS和Azure中。Capsule8的整個工作流程主要分爲感知、檢測、阻斷、調查四步。

2、Aqua Security(C輪)

Aqua Security成立於2015年,它爲基於容器、Serverless和雲原生應用提供保護解決方案。2019年,Aqua Security完成了6200萬美金的C輪融資,累計融資超過1億美元。它的客戶包括能源、航空航天、互聯網、媒體、旅遊、零售、製藥和酒店業的100多家知名企業。

Aqua Security的雲原生安全平臺使用現代化的零接觸方法來檢測和預防威脅,在整個應用程序生命週期內提供全面的可見性和安全自動化。例如在漏洞管理方面,Aqua可以實現:

  • 掃描鏡像和功能:Aqua幾乎與所有CI/CD工具集成在一起,可在構建鏡像和功能時主動掃描,及早發現問題並允許快速修復。
  • 關注應用風險:下一個挑戰是大規模提供安全性。這種情況是指可能要掃描成千上萬個鏡像的漏洞。但是,其中許多鏡像實際上並未在生產中部署,因此即使處於脆弱狀態風險也不高。Aqua提供了對正在運行的工作負載中易受攻擊組件的實例化的可見性,這使安全團隊可以集中精力修復最容易遭受利用風險的那些組件。
  • 提供可行建議:Aqua提供了有關漏洞的具體可行建議,通常是建議升級到特定的版本或者改變配置和環境變量。

3、Twistlock(被收購)

位於CNCF全景圖裏的Twistlock創立於2015年。曾經在以色列著名的網安黃埔8200部隊服役,並在微軟企業安全部門工作的Ben Bernstein以不到30萬美元的種子輪開始起家,定位容器安全。Twistlock自己貼的標籤除了容器安全,就是雲原生安全。Twistlock的融資節奏很好,2015年5月天使輪280萬美元,2016年7月A輪1000萬美元,2017年4月B輪1700萬美元,2018年8月C輪3300萬美元,2019年就被Palo Alto Networks以4.1億美金的價格收購。

Twistlock產品界面

現在,Twistlock已經能爲Amazon ECS、Azure、Docker、GCP、Pivotal、OpenShift、Istio等多個平臺提供安全方案。Twistlock的自己一句話介紹是“領先的全棧,全生命週期容器安全解決方案,保護容器環境及其中運行的應用程序,具有輕量級,可擴展和自動化特性,自動化的策略構建和全開發生命週期內的無縫集成”。

截至目前,Twistlock總結了6方面的核心能力,分別是漏洞管理、合規、運行時防護、持續集成和持續交付、雲原生防火牆和訪問控制。像運行時防護包括網絡和應用程序防火牆,支持Docker和AWS Fargate運行安全以及主機防護,可以通過機器學習爲每個應用程序進行自動建模,保護網絡,文件系統,進程和系統調用。雲原生防火牆方面,Twistlock包括3層防火牆和7層防火牆,它可以自動學習應用程序的網絡拓撲,併爲所有微服務提供應用程序的微分段,可以檢測和阻止XSS攻擊、SQL注入等威脅,還可以自動模擬所有微服務之間的所有流量,並允許安全團隊集中查看和實施安全流量,同時自動阻止異常,無需手動創建和管理規則。

除了雲原生安全領域,以及前文介紹過的Kong、RapidAPI之外,我再介紹三家知名的雲原生技術層創業企業。

1、Rancher(D輪)

在本文第一部分我們提過Rancher(中文意思是放牧人)這家公司,它的創始人梁勝職業生涯貫穿軟件開發與雲計算的發展歷史。作爲耶魯大學計算機博士、Java語言J2SE平臺核心組件JNI的作者、JVM的領導設計與開發者,梁勝2000年離開Sun創辦了應用防火牆軟件公司Teros Networks並擔任CTO,2001年公司被Citrix收購。2008年梁勝第二次創業創建了Cloud.com,並推出了著名的雲計算管理軟件CloudStack,他也因此被譽爲“CloudStack之父”,2011年Cloud.com被Citrix又以2億美金收購,他成爲Citrix首位華人CTO。隨後2014年梁勝創立了容器管理公司Rancher Labs。這是他創建公司的初衷

Rancher是一個容器管理平臺,通過Rancher可以實現Docker和Kubernetes的輕鬆部署。Rancher由基礎設施編排、容器編排與調度、應用商店、企業級權限管理組成。下圖展示了Rancher的主要組件和功能。

今年3月份,Rancher對外公佈了4000萬美元的D輪融資,由此Rancher累計融資高達9500萬美元。

2、HashiCorp(E輪)

HashiCorp(簡稱爲Hashi,日語“橋樑”的含義)是我一直非常看好的一家雲原生技術企業,不過最近因爲禁止中國企業使用其商業產品而被刷屏。它成立於2012年,主要開發DevOps和雲管理基礎設施相關產品,日裔創始人及CTO Mitchell Hashimoto從12歲就開始創業,目前年僅30歲,公司主要產品都出自於他的手筆。

HashiCorp旗下包含多款知名的雲原生相關開源產品,我們自上而下的來看:

• Nomad:程序自動化,集羣管理器和調度器,專爲微服務和批量處理工作流設計。與Kubernetes相比,Nomad通用性更強。

• Vault:安全自動化,企業級私密信息管理工具。

• Terraform:基礎架構自動化,安全有效地構建、更改和版本控制基礎設施的工具。

• Packer:鏡像工具,旨在通過簡易的方式自動化構建鏡像。

• Vagrant:用於創建和部署虛擬化開發環境的工具,由Mitchell Hashimoto在23歲時開發,併成爲其創建HashiCorp的基石。

• Consul:網絡自動化、服務網格解決方案,它提供了一個功能齊全的控制平面,主要功能包括服務發現、健康檢查、鍵值存儲、安全服務通信、多數據中心等等。

今年3月HashiCorp對外公佈了1.75億美元的E輪融資,投後估值爲51億美元。

3、Snowflake(G輪)

Snowflake成立於2012年,創始人Bob Muglia曾在微軟工作23年,擁有豐富的數據庫經驗。Bob Muglia認爲,NoSQL型數據庫並不能完全適應業務要求,基於雲端的數據倉庫省去了相關軟硬件的設置需要,降低了使用門檻。Snowflake包括數據引擎在內的幾乎所有技術都是自己研發的,在數據庫和數據處理方面擁有非常多的專利,它是一個雲原生的SQL數據倉庫,完全針對雲計算特點設計,部署在AWS等雲端平臺上,可以將用戶所有的數據集中在一個地方,用戶只需加載數據然後運行查詢就可以查找到各種結構化或半結構化的數據。

爲什麼要使用雲原生數據倉庫?

作爲一個類別,雲原生的數據倉庫提供了許多好處。首先,它們使公司擺脫了對設備和機器的擔憂:在過去的物理服務器時代,公司需要操心服務器機房,或者至少是運行軟件或存儲數據的特定機器。構建這個物理基礎設施是啓動或擴展軟件公司的一個巨大障礙。現在,服務器成本要低得多,只需點擊幾下鼠標就可以創建雲端數據倉庫。公司只需要按需處理和存儲數據,併爲他們使用的東西付費。雲的使用還可以爲公司提供更多的冗餘和支持,因爲他們不再需要擔心單個服務器的故障和整個操作的崩潰。大型雲服務提供商擁有多個備份系統,可以在全球數據中心之間自動擴展,以保持一切正常運行。這對客戶公司來說是雙贏的。

作爲一個基於雲的數據倉庫,Snowflake具有很強的靈活性和可伸縮性。Snowflake基於訂閱的模型將存儲和計算服務分離,允許它們獨立運行。當用戶構建插入Snowflake的新解決方案時,他們只支付存儲數據或根據需要分析數據的費用。此外,該系統還構建了一個相互連接的雲服務器陣列,將數據分散,允許組織內的單個用戶或組訪問他們需要的特定數據,而無需複雜的數據傳輸,簡化了連接和分析。

對於雲原生數據倉庫來說,能夠在不影響底層的情況下快速查詢數據並使用實時數據執行分析是一個強大的功能。由於數據不斷地被各種各樣的系統所創建,其中許多系統最初都是雲端固有的,因此實時分析這些數據的能力對現代公司至關重要。實時分析會根據需要,只對特定實例和項目收費而不產生更高的成本。

Snowflake在今年2月份完成了4.79億美元的G輪融資,估值高達124億美元,投資機構包括Salesforce Ventures,Snowflake還由此宣佈了與Salesforce的戰略合作伙伴關係。Snowflake在《福布斯》最新的“雲100強”榜單中位列第二,僅次於Stripe。

雲原生技術層的機會我還在《虛擬化與超融合(一)》裏提到過,由於容器技術對於傳統虛擬機的衝擊,衆多創業公司正在解構VMware,這將在該系列詳細討論。


雲原生應用層

 

雲原生能廣泛應用在所有的行業,併發揮其快速、靈活、彈性、擴展性強、遷移能力強等多種優勢。在這裏我僅拋磚引玉,分析下雲原生遊戲的優點。

圍繞雲遊戲的許多討論都集中在其“殺死控制檯”的潛力上,從而消除了本地硬件玩遊戲的需求。但是,對硬件的持續關注未能抓住雲遊戲的真正潛力。雲遊戲的真正創新不僅僅在於我們怎麼玩遊戲方式,還在於我們玩什麼遊戲:“雲原生”遊戲將完全顛覆遊戲體驗本身,以及這些遊戲的銷售和銷售方式。

雲原生遊戲是專門爲雲開發的遊戲,其中客戶端和服務器託管在同一架構中,有可能產生全新的遊戲體驗和商業模式。

病毒式傳播

大多數MMO(Massively Multiplayer Online,大型多人在線)遊戲具有固有的網絡效應,這意味着與更多玩家一起玩遊戲會更加有趣。然而,MMO通常會遇到冷啓動問題:一開始,沒有足夠的參與者來創造積極的體驗,從而導致新用戶的流失。與朋友合作玩耍是最好的招募和留住新用戶的方式,但是在此過程中可能會遇到很多障礙。例如,用戶可以在不同時間或在不同平臺上玩。由於不透明的配對規則和服務器限制,在遊戲中尋找朋友可能很麻煩。

利用雲原生開發的MMO遊戲本質上是跨平臺的,因此可以從任何設備上訪問。沒有下載、安裝,或者加載時間,用戶不用再爲了補丁或者一個遊戲的副本需要等待三個小時。

爲了簡化入門過程,雲原生遊戲可以使用深層鏈接來無縫地允許新玩家加入朋友的遊戲會話。同時,想要獲得更輕鬆體驗的用戶可以實時選擇確切的時點來參加比賽或作爲旁觀者。

這些支持雲的功能共同加速了多人遊戲固有的網絡效果。如果成功的話,第一個雲原生MMO遊戲可能會完全通過玩家主導的招募而快速發展,其病毒增長曲線比傳統的MMO更類似於Facebook。

創造視頻營銷機會

除了更強大的病毒性之外,雲原生遊戲還將爲AAA(3A大作,高成本、高體量、高質量)遊戲提供新的營銷形式。傳統上AAA遊戲依賴於廣告牌和展示廣告等營銷方式。在沒有安裝時間的情況下,潛在玩家將能夠單擊鏈接立即嘗試一款遊戲—這是一個巨大的進步。

隨着雲遊戲的普及,視頻和有影響力的營銷將變得越來越重要。銷售佣金和“點擊加入”可能會成爲雲遊戲經濟中網絡大V收入的最大來源。

實現AI驅動的實時內容生成

由於客戶端和服務器在同一個網絡中,雲原生遊戲可以方便的跟蹤和收集用戶旅程中幾乎所有的數據,這使得我們可以以開創性的方式在遊戲中增強人工智能和機器學習能力。

例如,遊戲長期以來通過出售改變玩家外觀或周圍世界的化妝品來賺錢。由於雲提供無限的數據、處理能力和最小的客戶端-服務器延遲,人工智能可以實時生成完全動態的環境。以下是基於Nvidia深度學習系統的剪輯,顯示用戶在AI的幫助下修改了一個逼真的虛擬環境:

將來,實時內容生成可能會催生新的、沉浸式的故事講述方法。下一代的“選擇你自己的冒險”可能是一個虛擬世界,實時適應你的選擇。爲了使這些虛擬世界貨幣化、個性化,自發性的廣告可能會出現,類似於《少數派報告》中的生物識別廣告。

更遠的未來,AI驅動、程序生成的世界可以爲用戶提供一個無盡的遊樂場,那時距離《頭號玩家》裏的綠洲世界或者著名的網絡世界-元界(Metaverse)已經不遠。

預計我們將在兩三年內看到第一款雲原生遊戲上市,在谷歌、微軟、亞馬遜和其他許多公司的投資推動下,下一代雲原生遊戲將有潛力重塑我們所知道的遊戲體驗。

在上述認知的推動下,A16Z、騰訊、淡馬錫投資了免費沙盒MMO遊戲Roblox的1.5億美金的G輪,相應估值高達40億美元,他們認爲未來遊戲將不再只是遊戲,甚至將比電影和音樂加在一起的規模還大。遊戲的發展也將推動技術革新,而Roblox作爲世界上最大的社交平臺和多人遊戲平臺之一,接下來將有望成爲未來的Metaverse。


寫在最後

至此,這篇接近4萬字的《雲原生時代》已接近尾聲。

我們再來梳理下本文的核心觀點:

• 雲原生、中臺、微服務、CI/CD、Devops、SaaS背後的理念是一致的

• 即更快速、更靈活、更輕量、更自動,從開發開始,不斷實現企業的產品目標和業務目標

• 類似理念涉及的維度包括開發、產品、運維、銷售,從產品、服務到組織結構

如何判斷雲原生技術層的項目?

• 是否擁有核心技術是關鍵

• 單點產品的價值和延展性要足夠強。參照Rancher、HashiCorp、Kong

• 面向客戶提供一整套產品化的解決方案具有更大價值

• 在雲原生體系裏,開源項目比普通商業項目更佔優勢。開源項目更容易被其它產品支持和集成;雲原生架構早期使用者以開發者爲主,開源項目更容易快速建立口碑和影響力;在社區支持下,開源項目質量更容易得到保證

• 儘量選擇成熟和被市場驗證的技術和產品

國內的創業機會是否已經到來?

國內已經出現了像PingCap、Kylin、SkyWalking、Dubbo、ServiceComb等優秀的開源項目,在雲原生技術不斷成熟和普及、國內開源文化和社區逐漸興起、去IOE和自主可控的時代背景下,國內對標海外的創業機會將會不斷湧現。不過由於國內企業IT水平參差不齊,像API集成、API管理等領域的創業時機尚早,所以選擇合適的產品切入點和行業將成爲成敗的關鍵,另外團隊對軟件本質的理解、銷售和客戶服務能力也是相當重要的因素。

最後,我真心希望未來3到5年中國新一代的基礎軟件企業能夠高舉國產化的大旗,燈火輝煌。

 

參考文檔:

本文的部分內容參考或者引用以下文章,在此表示感謝,如果有涉及知識產權的問題,請聯繫我及時修改。

綠盟科技:RSA2019創新沙盒 | Capsule8:混合環境中的實時0day攻擊檢測、朔源和響應平臺

被Palo Alto 4.1億美元收購的Twistlock是一傢什麼公司?

DETECTION ENGINEERING FOR CLOUD-NATIVE SECURITY

The Promise of Cloud-Native Games

15 Most Interesting Cloud Native Trends From The CNCF Survey

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章