從單體邁向Serverless的避坑指南

用戶需求和雲的發展兩條線推動了雲原生技術的興起、發展和大規模應用。本文將主要討論什麼是雲原生應用,構成雲原生應用的要素是什麼,什麼是Serverless 計算,以及Serverless如何簡化技術複雜度,幫助用戶應對快速變化的需求,實現彈性、高可用的服務,並通過具體的案例和場景進行說明。

如今,各行各業都在談數字化轉型,尤其是新零售、傳媒、交通等行業。數字化的商業形態已經成爲主流,逐漸替代了傳統的商業形態。在另外一些行業裏(如工業製造),雖然企業的商業形態並非以數字化的形式表現,但是在數字孿生理念下,充分利用數據科技進行生產運營優化也正在成爲研究熱點和行業共識。

企業進行數字化轉型,從生產資料、生產關係、戰略規劃、增長曲線四個層面來看:

  • 生產資料:數據成爲最重要的生產資料,需求/風險隨時變化,企業面臨巨大的不確定性。
  • 生產關係:數據爲中心,非基於流程和規則的固定生產關係。網絡效應令生產關係跨越時空限制,多連接方式催生新的業務和物種。
  • 戰略規劃:基於數據決策,快速應對不確定的商業環境。
  • 增長曲線:數字化技術帶來觸達海量用戶的能力,可帶來突破性的增長。

從雲服務商的角度來看雲的演進趨勢,在Cloud 1.0時代,基礎設施的雲化是其主題,採用雲託管模式,雲上雲下的應用保持兼容,傳統的應用可以直接遷移到雲上,這種方式的核心價值在於資源的彈性和成本的低廉;在基礎設施提供了海量算力之後,怎麼幫助用戶更好地利用算力,加速企業創新的速度,就成爲雲的核心能力。

如果仍在服務器上構建基礎應用,那麼研發成本就會很高,管理難度也很大,因此有了Cloud 2.0,也就是雲原生時代。在雲原生時代,雲服務商提供了豐富的託管服務,助力企業數字化轉型和創新,用戶可以像搭積木一樣基於各種雲服務來構建應用,大大降低了研發成本。

雲原生應用要素

雲原生應用有三個非常關鍵的要素:微服務架構,應用容器化和Serverless化,敏捷的軟件交付流程。

1. 微服務架構

單體架構和微服務架構各有各的特點,其主要特點對比如下圖所示。總的來說,單體架構上手快,但是維護難,微服務架構部署較難,但是獨立性和敏捷性更好,更適合雲原生應用。

單體架構VS微服務架構

2. 應用容器化和Serverless化

容器是當前最流行的代碼封裝方式,藉助K8s及其生態的能力,大大降低了整個基礎設施的管理難度,而且容器在程序的支撐性方面提供非常出色的靈活性和可移植性,越來越多的用戶開始使用容器來封裝整個應用。

Serverless計算是另外一種形態,做了大量的端到端整合和雲服務的集成,大大提高了研發效率,但是對傳統應用的兼容性沒有容器那麼靈活,但是也帶來了很大的整潔性,用戶只需要專注於業務邏輯的編碼,聚焦於業務邏輯的創新即可。

3. 敏捷的應用交付流程

敏捷的應用交付流程是非常重要的一個要素,主要包括流程自動化,專注於功能開發,快速發現問題,快速發佈上線。

Serverless 計算

1. 阿里雲函數計算

Serverless是一個新的概念,但是其內涵早就已經存在。阿里雲或者AWS的第一個雲服務都是對象存儲,對象儲存實際上就是一個存儲領域的Serverless服務;另外,Serverless指的是一個產品體系,而不是單個產品。當前業界雲服務商推出的新功能或者新產品絕大多數都是Serverless形態的。阿里雲Serverless產品體系包括計算、存儲、API、分析和中間件等,目前雲的產品體系正在Serverless化。

阿里雲Serverless計算平臺函數計算,有4個特點:

  • 和雲端無縫集成:通過事件驅動的方式將雲端的各種服務與函數計算無縫集成,用戶只需要關注函數的開發,事件的觸發等均由服務商來完成。
  • 實時彈性伸縮:由系統自動完成函數計算的彈性伸縮,且速度非常快,用戶可以將這種能力用在在線應用上。
  • 次秒級計量:次秒級的計量方式提供了一種完全的按需計量方式,資源利用率能達到百分之百。
  • 高可用:函數計算平臺做了大量工作幫助用戶構建高可用的應用。

那麼,阿里雲函數計算是如何做到以上4點呢?阿里雲函數計算的產品能力大圖如下圖所示,首先函數計算產品是建立在阿里巴巴的基礎設施服務之上的產品,對在其之上的計算層進行了大量優化。接着在應用層開發了大量能力和工具,基於以上產品能力,爲用戶提供多種場景下完整的解決方案,纔有了整個優秀的函數計算產品。函數計算是阿里雲的一個非常基礎的雲產品,阿里雲的許多產品和功能均是建立在函數計算的基礎上。目前阿里雲函數計算已經在全球19個區域提供服務。

阿里雲函數計算產品能力大圖

2. Serverless幫助用戶簡化雲原生應用高可用設計、實施的複雜度

雲原生應用的高可用是一個系統的工程,包括衆多方面,完整的高可用體系構建需要很多時間和精力。那麼Serverless計算是如何幫助用戶簡化雲原生應用高可用設計、實施的複雜度呢?

如下圖所示,高可用體系建設要考慮的點包括基礎設施層、運行時層、數據層以及應用層,且每一層都有大量的工作要做纔可以實現高可用。函數計算主要是從容錯、彈性、流控、監控四方面做了大量工作來實現高可用,下圖中藍色虛線框所對應的功能均由平臺來實現,用戶是不需要考慮的。藍色實線框雖然平臺做了一些工作來簡化用戶的工作難度,但是仍需要用戶來進行關注,而橘紅色的實線框代表需要用戶去負責的部分功能。結合平臺提供的功能和用戶的部分精力投入,可以極大地減輕用戶進行高可用體系建設的難度。

函數計算高可用

函數計算在很多方面做了優化來幫助用戶建設高可用體系。下圖展示了函數計算在可用區容災方面的能力。從圖中可知,函數計算做了相應的負載均衡,使得容災能力大大提升。

函數計算多可用區容災

下圖展示的是函數計算對事件的異步處理,其處理流水線主要包括事件隊列、事件分發、事件消費三個環節,在每一個環節上都可以進行水平伸縮,其中一個比較關鍵的點是事件的分發需要匹配下游的消費能力。另外,通過爲不同函數指定不同數量的計算資源,用戶能方便地動態調整不同類型事件的消費速度。此外,還可以自定義錯誤重試邏輯,並且有背壓反饋和流控,不會在短時間內產生大量請求時壓垮下一個服務。

函數計算事件異步處理

在函數計算的可觀測性上面,提供了日誌收集和查詢功能,除了默認的簡單日誌查詢功能外,還提供了高級日誌查詢,用戶可以更方便地進行日誌分析。在指標收集和可視化方面,函數計算提供了豐富的指標收集能力,並且提供了標準指標、概覽信息等視圖,可以更方便用戶進行運維工作。

下圖是應用交付的一個示意圖,在整個應用的交付過程中,只有每個環節都做好,才能夠建設一個敏捷的應用交付流程,其核心是自動化,只有做到了自動化,才能提升整個流水線的效率和敏捷度。

敏捷的應用交付流程

下圖展示了自動化應用交付流水線在每個環節的具體任務。其中需要注意的是做到基礎設施即代碼,才能進行模板定義和自動化設置應用運行環境,進而實現自動化的持續集成等。

自動化應用交付流水線

做到了應用的自動化交付之後,對整個研發效率的幫助是非常大的。在Serverless應用上,阿里雲提供了多種工具來幫助用戶實現基礎設施即代碼。Serverless的模型有一個很好的能力,就是同一份模板可以傳入不同的參數,進而生成不同環境的定義,然後通過自動化地管理這些環境。

對於應用本身不同服務版本的交付和灰度發佈,函數計算提供了服務版本和服務別名來提供相應的服務,整個應用的灰度發佈流程可以簡化成一些API的操作,大大提升業務的效率。通過Serverless計算平臺提供的這些能力,整個軟件應用的交付流水線自動化程度得到了大幅度的提高。

函數計算還有一個很有用的功能——對存量應用的兼容性。通過Custom
runtime,能夠適配很多的流行框架,兼容傳統應用,使其能夠很容易地適配到Serverless平臺上面,由控制檯提供應用的創建、部署、關聯資源管理、監控等一系列服務。

除了函數計算,還可以用Serverless工作流對不同的應用環節、不同的函數進行編排,通過描述性的語言去定義工作流,由其可靠地執行每一個步驟,這就大幅度降低用戶對於複雜任務的編排難度。

應用場景案例

函數計算有幾個典型的應用場景,一個就是Web/API後端服務,阿里雲已經有包括石墨文檔、微博、世紀華聯在內的多個成功應用案例。

函數計算的另外一個應用場景就是大規模的數據並行處理,比如往OSS上面上傳大量的圖片、音頻、文本等數據,可以觸發函數做自定義的處理,比如轉碼、截幀等。這方面的成功案例包括虎撲、分衆傳媒、百家互聯等。

函數計算還有一個應用場景就是數據實時流式處理,比如不同的設備產生的消息、日誌發送到消息隊列等管道類似的服務中,就可以觸發函數來進行流式處理。

最後一個應用場景就是運維的自動化,通過定時觸發、雲監控事件觸發、流程編排等方式調用函數完成運維任務,大大降低運維成本和難度,典型的成功案例有圖森未來等。

圖森未來是一家專注於L4級別無人駕駛卡車技術研發與應用的人工智能企業,面向全球提供可大規模商業化運營的無人駕駛卡車技術,爲全球物流運輸行業賦能。在路測過程中會有大量數據產生,而對這些數據的處理流程複雜多變,即使對於同一批數據,不同的業務小組也會有不同的使用及處理方式。如何有效管理不同的數據處理流程、降低人爲介入頻率能夠大幅的提高生產效率。

路測不定時運行的特點使得流程編排任務運行時間點、運行時長具有極大的不確定性,本地機房獨自建立流程管理系統難以最大優化機器利用率,造成資源浪費。而圖森未來本地已有許多單元化業務處理腳本及應用程序,但因爲各種限制而無法全量的遷移上雲,這也對如何合理化使用雲上服務帶來了挑戰。

針對上述情況,圖森未來開始探索數據處理平臺的自動化。阿里雲 Serverless 工作流按執行調度的次數計費,具有易用易集成、運維簡單等諸多優點,能夠很好的解決上述場景中所遇到的問題,非常適合這類不定時運行的離線任務場景。

Serverless 工作流還支持編排本地或自建機房的任務,圖森未來通過使用Serverless 工作流原生支持的消息服務MNS解決了雲上雲下的數據打通問題,使得本地的原有任務得到很好的編排及管理。

除了調度外,Serverless 工作流也支持對任務的狀態及執行過程中所產生的數據進行維護。圖森未來通過使用任務的輸入輸出映射及狀態彙報機制,高效的管理了流程中各任務的生命週期及相互間的數據傳遞。

在未來,隨着業務規模的擴大,圖森未來將持續優化離線大數據處理流程的運行效率及自動化水平。通過各種探索,圖森未來將進一步提升工程團隊的效率,將更多的精力和資金投入到業務創新中去。

總結

Serverless 工作流是阿里雲 Serverless 產品體系中的關鍵一環。通過 Serverless 工作流,用戶能夠將函數計算、視覺智能平臺等多個阿里雲服務,或者自建的服務,以簡單直觀的方式編排爲工作流,迅速構建彈性高可用的雲原生應用。

自2017年推出函數計算起, 該服務根據應用負載變化實時智能地彈性擴縮容,1分鐘完成上萬實例的伸縮並保證穩定的延時。目前已經支撐微博、芒果TV、華大基因、圖森未來、石墨科技等用戶的關鍵應用,輕鬆應對業務洪峯。

本文轉載自公衆號阿里巴巴中間件(ID:Aliware_2018)。

原文鏈接

https://mp.weixin.qq.com/s?__biz=MzU4NzU0MDIzOQ==&mid=2247489905&idx=2&sn=2fee55d63dd5563f421dd0e2f88db9f9&chksm=fdeb2b11ca9ca207d176fb354f5a72fcb786b273cfbc32c08c5710944a446032f8b5cd4f9a45&scene=27#wechat_redirect

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章