與前華爲資深技術專家一起學習分佈式技術 --專欄《分佈式技術原理與算法解析》學習總結

“無意中發現了一個巨牛的人工智能教程,忍不住分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看小說一樣!覺得太牛了,所以分享給大家。點這裏可以跳轉到教程。”

不管是在互聯網時代,還是移動互聯網時代,抑或是現在的IoT(萬物互聯)時代,分佈式技術都發揮着相當重要的作用。那麼,分佈式技術到底包含了哪些具體的技術點?它在當今的IT技術中到底扮演着一個怎樣的角色?帶着這諸多的疑問,我學習了極客時間App上的《分佈式技術原理與算法解析》專欄。本專欄作者聶鵬程老師深入研究分佈式技術十餘年,曾是華爲分佈式Lab資深技術專家。

通過對專欄的學習,我對分佈式技術有了比較全面的瞭解。在這篇文章中,我分享一下自己的學習總結,供大家在學習分佈式技術時參考。

 

專欄主要內容

專欄一開始便對分佈式下了一個定義,即:分佈式其實就是將相同或相關的程序運行在多臺計算機上,從而實現特定目標的一種計算方式。產生分佈式的最主要驅動力量,是我們對於性能、可用性及可擴展性的不懈追求;也就是說,分佈式的出現實際上是技術發展的必然結果。分佈式的目的是用更多的機器,處理更多的數據和更復雜的任務

本專欄的主要內容分爲六個部分,分別是:分佈式協調與同步分佈式資源管理與負載調度分佈式計算技術分佈式通信技術分佈式數據存儲分佈式高可靠。我用下面這張思維導圖來概括本專欄的主要內容。

四縱四橫

在開篇詞中,作者介紹了本專欄的學習路線,也就是“四縱四橫”,包括4個技術層次4個縱向技術線。其中,4個技術層次是指:分佈式資源池化分佈式通信分佈式數據存儲與管理分佈式計算;4個縱向技術線是指:分佈式協同分佈式調度分佈式追蹤與高可用分佈式部署。專欄接下來的內容就是對“四縱四橫”內容的展開介紹和深入講解。

 

CAP理論

CAP理論是分佈式技術中一個經典的理論,作者也在專欄中對該理論進行了詳細的介紹。

CAP中的C代表Consistency,即一致性;A代表Availability,即可用性;P代表Partition Tolerance,即分區容錯性。CAP理論說的是在一個分佈式系統中,CAP三者最多隻能同時滿足兩個,不能三者都同時滿足。當前我們熟悉的一些開源系統,都是基於CAP理論設計的,作者在專欄中做了梳理,如下表所示: 

分佈式技術與人工智能的關係

作者專門用了一講的內容來介紹分佈式技術與人工智能的關係,也就是,當前炙手可熱的人工智能技術實際上與分佈式技術有着千絲萬縷的聯繫。作者提到,數據、模型(也叫作算法)和算力是人工智能的三大核心數據處理和模型訓練是人工智能的關鍵技術,算力決定了數據處理和模型訓練的實用性能,而分佈式技術就是解決算力的不二妙招

更具體地,分佈式模型訓練是利用分佈式集羣,將多個計算機的存儲能力、計算能力等進行統一管理和調度,從而實現模型訓練。在此過程中,分佈式各項技術都發揮着非常重要的作用。另外,數據分佈式訓練涉及到數據的拆分方法、數據的分佈式存儲和管理,分佈式技術在其中也是功不可沒。

 

總結

作者用理論和實踐相結合的方式介紹了分佈式技術的方方面面的內容,適合IT從業者(特別是技術工作者)們閱讀。在專欄的最後,作者提到了如何提升職業競爭力,他認爲我們首先要敬畏技術並對自己誠實,然後把自己塑造成一個倒三角人才( T 型人才)。也就是說,我們要正視自己的短板,並努力提高自己的技能,讓自己成爲一個對某些技術有深入理解、對相關領域有全面瞭解的人。

只有通過重複地學習及實踐,才能夠真正喫透專欄的內容,我已經在學習的路上了。如果大家對專欄的內容感興趣,可以訂閱學習,也可以閱讀我繪製的思維導圖。下載鏈接如下,希望對大家學習分佈式技術有所幫助。

鏈接:https://pan.baidu.com/s/1NBSNiQdFhmf-8JHN3X9D0Q  

密碼:4iw3

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章