恕我直言,你可能誤解了微服務

隨着雲計算和容器技術的普及,互聯網IT基礎設施已經發生了很大的變革,也推動了微服務技術的大量採用和落地。現在的技術人,不談微服務已經要跟不上形勢了。但是你真的對微服務有正確的理解嗎?要向微服務轉型,有哪些問題和挑戰擺在面前?如何撥開現代各種技術棧的迷霧看清微服務的發展趨勢,選擇最適合團隊的技術方向?本次InfoQ記者採訪了網易杭州研究院雲計算技術部的首席架構師劉超,爲大家分享他對這些問題的看法。劉超也是今年5月份QCon全球軟件開發大會廣州站「微服務實戰」專題的出品人,將爲大家策劃幾場微服務相關的內容豐富的分享。

InfoQ:劉超老師,請先介紹一下自己吧。

劉超:我是網易雲的首席架構師,主要負責兩部分工作,對內支撐網易核心業務上雲,例如考拉,雲音樂,雲課堂,對外輸出網易的微服務經驗,幫助客戶搞定容器化與微服務化架構,已經在銀行、證券、物流、視頻監控、智能製造等多個行業落地。

InfoQ:網易雲在微服務方面的探索有哪些?落地過程中有哪些難點?

劉超:網易雲的技術團隊在博客時代就開始探索互聯網架構,是在支撐博客用戶量、訪問量就爆發式增長的過程中,構建了聚焦微服務的網易雲輕舟平臺,並支撐內部考拉、雲音樂、雲課堂等核心業務。

在實施微服務的過程中,難點層出不窮,可謂見山開路,遇水搭橋。

實施服務化架構之後,首先實現的功能是進行統一的註冊發現和RPC的透明封裝,但是服務拆分多了,在應用層面就遇到以下問題:

  • 服務雪崩:即一個服務掛了,整個調用鏈路上的所有的服務都會受到影響;
  • 大量請求堆積、故障恢復慢:即一個服務慢,卡住了,整個調用鏈路出現大量超時,要長時間等待慢的服務恢復到正常狀態。

基礎設施層面,還有另外的問題:

  • 服務器資源分配困難,服務器機型碎片化:服務多了,各個團隊都要申請服務器,規格不一,要求多樣,管理十分困難;
  • 一臺服務器上多個進程互相影響、QoS難以保障:採用虛擬機或者物理機的部署,往往會多個進程放在一臺服務器上,高峯期影響嚴重;
  • 測試環境數量大增,環境管理、部署更新困難:每個團隊都有反覆部署測試環境,手動部署或者腳本部署過於複雜。

爲了解決這些問題,我們在應用層面實施了以下方案:

  • 通過熔斷機制,當一個服務掛了,被影響的服務能夠及時熔斷,使用Fallback數據保證流程在非關鍵服務不可用的情況下,仍然可以進行。
  • 通過線程池和消息隊列機制實現異步化,允許服務快速失敗,當一個服務因爲過慢而阻塞,被影響服務可以在超時後快速失敗,不會影響整個調用鏈路。

在基礎設施層面,我們實施了以下的方案:

  • 統一基礎設施,擁抱容器標準,解決服務器碎片化和服務之間的隔離問題;
  • 統一編排和彈性伸縮平臺,2015年擁抱Kubernetes標準,解決了部署困難,環境不一致的問題;
  • 打造CI/CD服務,抽象出產品、環境等多級概念,實現從代碼到測試到上線的自動部署。

隨着我們支撐的內部業務越來越多,就進一步遇到了以下問題

  • 微服務框架選型不一,技術無法積累,面向業務定製化嚴重,上手成本高;
  • 傳統依賴於應用運維的排障複雜度高,傳統監控服務無法滿足需求;
  • 故障演練手段不一,硬編碼隨處可見;
  • API版本管理混亂,無統一的監控,治理,無開發標準;
  • 分佈式事務支持方式不一,和業務綁定嚴重。

爲了解決這些問題,我們實施了以下方案:

  • 微服務框架與開源技術棧統一,將服務治理邏輯抽離、以無侵入方式實現、支持Spring Cloud、Dubbo等開源技術棧;
  • 全鏈路跟蹤服務與日誌服務依據ID進行聯繫,以發現故障點上下文;
  • 在Agent引入故障注入服務,可統一進行故障演練;
  • 服務通過API網關暴露,引入API管理、測試平臺,自動Client SDK生成;
  • 實現TCC中間件、事務消息隊列等標準中間件。

InfoQ:你如何理解微服務?微服務在當前技術形勢下處於一個什麼樣的位置?

劉超:微服務是一個非常複雜的問題,在業內會有一些誤解

微服務主要的工作是服務拆分,主要考慮將服務拆分成什麼粒度以及如何進行拆分;

微服務是一個運動式的過程,把大家關起門來封閉開發一個月,就能把架構修改好了,以後就萬事大吉了;

微服務僅僅是一個技術問題,交給開發團隊或者運維團隊去搞就可以了。

圖片

微服務絕不僅僅是服務拆分,就像上圖所示,拆分只是實施微服務十二個要點之一,因爲拆分了服務之後,會面臨上面我們遇到的所有問題,沒有相應的工具和平臺,拆分的越細,越是一場災難。

微服務絕不是一個運動式的過程,而是應該漸進的過程,一旦實施了微服務,就處於業務系統不斷更新和迭代的狀態中,也處於不斷的拆分和組合中。所以不建議一開始就拆的特別細,不建議一勞永逸,而是隨着慢慢的拆成幾個,十幾個,幾十個,上百個的過程,將十二個要點所需要的工具、團隊、員工能力慢慢匹配到微服務狀態。

微服務絕不僅僅是個技術問題,牽扯到IT架構、應用架構、組織架構多個方面。微服務必定帶來開發、上線、運維的複雜度的提高,如果說單體應用複雜度爲10,實施了微服務後的複雜度將是100,配備了相應的工具和平臺後,可以將複雜度降低到50,但仍然比單體複雜的多。

所以實施微服務是有成本的,只有在業務層面遇到不微不行的痛點,例如痛到影響收入,痛到被競爭對手甩在後面,所以微服務往往是業務驅動或者高管驅動的,而實施微服務的結果又必然會影響到組織架構的變化,例如運維和開發的界限模糊——DevOps,專門中間件和架構師團隊的成立,數據中臺和業務中臺組的建立,小團隊自主決策等。

目前,大多數企業都意識到了微服務的重要性,但是各處的階段不同,我把微服務分成三個階段:

  • 微服務1.0,僅使用註冊發現,基於SpringCloud或者Dubbo進行開發,目前意圖實施微服務的傳統企業大部分處於這個階段,或者正從單體應用,向這個階段過渡,處於0.5的階段;
  • 微服務2.0,使用了熔斷,限流,降級等服務治理策略,並配備完整微服務工具和平臺,目前大部分互聯網企業處於這個階段。傳統企業中的領頭羊,在做互聯網轉型的過程中,正在向這個階段過渡,處於1.5的階段;
  • 微服務3.0,Service Mesh將服務治理作爲通用組件,下沉到平臺層實現,使得應用層僅僅關注業務邏輯,平臺層可以根據業務監控自動調度和參數調整,實現AIOps和智能調度。目前一線互聯網公司在進行這方面的嘗試。

InfoQ:你怎麼看微服務未來的發展趨勢?

劉超:前面大概談了一下微服務3.0,這裏詳細說一下我眼中的微服務的發展趨勢。

第一個就是Service Mesh,他的主要作用就是將服務治理下沉到平臺層,進行統一的治理。

爲什麼會這樣呢?因爲無論是在我們內部,還是在外部企業,都能看的這樣的趨勢。

最初只有物理機,虛擬機是放在雲平臺上,由運維組統一管理的。

圖片

後來因爲能力複用和開發速度的需要,數據庫、中間件成爲了PaaS平臺用於部署通用的組件,持續發佈也成了PaaS平臺,用於部署客戶的業務,所以這兩部分也平臺化了。

圖片

隨着越來越多的業務需要進行服務治理,微服務框架,APM,也成爲了平臺的一部分。

圖片

但是微服務框架的統一,涉及多語言的問題,也涉及和應用層綁定的問題,無論是Spring Cloud還是Dubbo,都很難完全平臺化,所以需要Service Mesh,通過sidecar的方式,將控制面和數據面隔離,通過非侵入的模式進行流量攔截,實現真正的治理平臺化。

圖片

第二個就是AIOps和智能調度,就是通過對於海量數據中心收集的監控數據和業務數據,實現業務的自動調度和參數調整。

這個看起來很遙遠,其實不然,如果大家感興趣的話,可以在網上搜索一下,Google在2011年就公佈了自己數據中心收集的監控數據(https://github.com/google/cluster-data/blob/master/ClusterData2011_2.md),並在2014年發表論文《Machine Learning Applications for Data Center Optimization》,使用AI技術優化數據中心的效率。

而國內一線互聯網公司也在2018年公佈4000臺服務器真實數據集,也在乾和Google類似的事情。

我們觀察到,當數據中心的機器規模突破十萬臺的時候,效率的提高就變成了一件能夠節省大量成本的事情,所以開始引起重視。而能做到這件事情,往往依靠的就是數據驅動的智能調度

爲了支撐強大的調度功能,Google開發了Borg,Twitter壯大了Mesos,並通過將這些調度平臺和機器學習相結合,實現自動化的智能調度,國內一線互聯網公司也在進行着積極的嘗試。

隨着微服務化和容器化,服務的數量會十分的龐大,從而運維難度大幅度提高,原來僅僅會運維物理機和虛擬化的技術人員是不夠的,而運維Kubernetes和Docker的人會比較貴,使得人力成本大幅度提高。

很多組織從物理機時代,到虛擬化時代,到雲時代,再到容器時代,運維團隊的規模是越來越大的,每個人的薪資也越來越高。

圖片

所以將來只運維少量節點的私有化容器平臺,勢必從成本上來講是不划算的,當出現有公信力的公有云平臺,則勢必使用公有云成爲節約成本的理智選擇

例如亞馬遜、谷歌等公有云平臺就沒有問題,谷歌裏面的運維工程師相當貴,他們掌握最先進的技術是沒有任何問題的,但是他們會通過各種自動化,甚至智能化的技術,管理全球的幾百萬臺機器,這樣成本攤下來就不是很高了。如果你只是運維一個幾十個節點,最多幾百個節點的容器平臺,同樣需要招一些這麼貴的人,一般的企業肯定受不了。所以將來要麼是大規模公有云平臺,要麼是土豪如電信金融行業的自建雲平臺,都會出現超大規模的場景,基於AIOps和智能調度節約成本,就是勢在必然的了

InfoQ:QCon廣州的「微服務實戰」專題下設置了4個演講,作爲出品人,你如何策劃這4個演講,想給參會者呈現微服務的哪些方面?

劉超:基於我們自己的微服務實踐,和對於微服務發展階段的理解,作爲「微服務實戰」專題的出品人,我計劃全方位展示微服務在主流公司的主流技術方向的實踐和未來方向。

第一個方面就是基於Dubbo的大規模微服務實踐的場景,Dubbo是應用範圍非常廣的微服務框架,很多企業都是基於Dubbo做的,Dubbo的實踐是微服務實施過程中繞不過去的一環,這個主題能夠解決很多技術人員實施海量Dubbo服務的時候遇到的問題。

第二個方面就是基於Spring Cloud的大規模微服務實戰的場景,Spring Cloud是近年來新興的微服務框架,很多新實施微服務的,會選擇基於Spring Cloud,但是Spring Cloud雖然組件豐富,可選項多,但是也很複雜,學習曲線高,如何再海量場景下進行改進和適配,是經常遇到的問題,這個主題能夠給予技術人員實施Spring Cloud微服務的時候以借鑑意義。

第三個方面就是Service Mesh在高併發場景下的實踐場景,前面說了Service Mesh是一個趨勢,一線互聯網公司都在嘗試,但是這個技術太新了,很多坑還在踩,這個主題能夠帶給技術人員最前沿微服務技術的落地實踐,給想試試Service Mesh的技術人員以借鑑意義。

第四個方面就是微服務框架各個方向的發展與未來趨勢,微服務涉及範圍廣,技術選型難,很多沒有實施微服務的技術人員面臨如此多的技術名詞,無所適從,選穩定的,會不會過時被淘汰,選先進的,會不會冒進出線上事故,選錯了技術方向,萬一開源的不維護了就麻煩大了,這個主題會講解微服務發展的技術趨勢和各個方向的優劣對比,給選型困難的技術人員以參考。

更多關於2019年5月25-28日QCon廣州站的信息,請點擊QCon全球軟件開發大會廣州站。目前大會最低價 7 折購票進入倒計時,向公司團隊申請預算參加,團購可以更多優惠!詳情可諮詢Joy同學,電話:13269078023(微信同號)。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章