原创 《分佈式技術原理與算法解析》學習筆記Day19
分佈式通信:消息隊列 什麼是消息隊列? 隊列是一種具有先進先出特點的數據結構,消息隊列是基於隊列實現的、存儲具有特定格式的消息數據。消息以特定格式放入這個隊列的尾部後直接返回,不需要系統馬上處理,之後有其他進程從隊列頭部開始讀取消息,按照消
原创 《分佈式技術原理與算法解析》學習筆記Day18
分佈式通信:發佈訂閱 什麼是發佈訂閱? 遠程調用的核心是在網絡服務層封裝了通信協議、序列化、傳輸等操作,讓用戶調用遠程服務如同進行本地調用一樣。 這種通信方式雖然也是設置成異步的,但是因爲進程之間是直接交互的,所以當進程比較多時,會導致進程
原创 《分佈式技術原理與算法解析》學習筆記Day17
分佈式通信:遠程調用 分佈式的本質是多進程協作,共同完成任務,我們需要關注進程之間如何通信。 什麼是本地調用和遠程調用? 本地調用指的是進程內函數之間互相調用;遠程調用時進程間函數相互調用,是一種進程間的通信模式。 遠程調用分爲兩類: 本
原创 《分佈式技術原理與算法解析》學習筆記Day15
分佈式計算模式:Actor 什麼是Actor模型? 分佈式環境下,多個進程協同完成一件複雜的事情,每個進程各司其職,完成自己的工作後,再交給其他進程去完成剩餘的工作。 Actor模型,代表一種分佈式並行計算模型,它有自己的一套規則,規定了A
原创 《分佈式技術原理與算法解析》學習筆記Day16
分佈式計算模式:流水線 計算機中的流水線技術是一種將每條指令拆分爲多個步驟,多條指令的不同步驟重疊操作,從而實現幾條指令並行處理的技術。 分佈式領域的流水線計算模式,參考了工業生產中的流水線作業模式,將一個任務分爲多個步驟執行,使得不同任務
原创 《分佈式技術原理與算法解析》學習筆記Day14
分佈式計算模式:Stream 什麼是流數據? 實時性任務主要是針對流數據處理,對處理時延要求很高,通常需要常駐服務進程,等待數據的隨時到來隨時處理,以保證低時延。 流數據有4個特徵: 數據如流水般持續、快速到達。 海量數據規模,數據量可以
原创 《分佈式技術原理與算法解析》學習筆記Day13
分佈式計算模式:MapReduce 什麼是分治法? 分治法是將一個複雜、難以直接解決的大問題,分割成一些規模小、可以比較簡單或者直接求解的子問題,這些子問題之間相互獨立且與原問題形式相同,遞歸的求解這些子問題,然後將子問題的解合併得到原問題
原创 《分佈式技術原理與算法解析》學習筆記Day12
調度框架:共享狀態調度 什麼是共享狀態調度? 共享狀態調度是爲了解決單體調度和兩層調度遇到的問題而創建出來的新的調度框架。它通過將單體調度器分解爲多個調度器,每個調度器都有全局的資源狀態信息,從而實現最優的任務調度,提供了更好的可擴展性。
原创 《分佈式技術原理與算法解析》學習筆記Day11
調度框架:兩層調度 爲什麼會有兩層調度? 單體調度的核心是所有節點的資源以及用戶的任務均由中央服務器統一管理和調度,這樣中央服務器容易成爲單點瓶頸。 爲了提升調度效率並支持多種類型的任務,我們可以嘗試把資源和任務分開調度,也就是說一層調度器
原创 《分佈式技術原理與算法解析》學習筆記Day10
調度框架:單體調度 什麼是調度? 分佈式系統架構的目的是將多個服務器資源管理起來,對外提供服務。調度是指爲用戶任務尋找合適的服務器的過程,它是分佈式系統中一個非常重要的組件,提供了多種調度策略,負責完成具體的調度工作。 什麼是單體調度? 分
原创 《分佈式技術原理與算法解析》學習筆記Day09
非集中式結構 什麼是非集中式結構? 在非集中式結構中,服務的執行和數據的存儲被分散到不同的服務器集羣,服務器集羣之間通過消息傳遞進行通信和協調,非集中式結構沒有中央服務器和節點服務器之分,所有的服務器地位都是平等的。 非集中式結構解決了集中
原创 《分佈式技術原理與算法解析》學習筆記Day08
集中式結構 什麼是集中式結構? 集中式結構就是由一臺或多臺服務器組成的中央服務器,系統內的所有數據都存儲在中央服務器中,系統內所有的業務都先由中央服務器處理。多個節點服務器與中央服務器連接,並將自己的信息彙報給中央服務器,由中央服務器統一進
原创 《分佈式技術原理與算法解析》學習筆記Day07
分佈式鎖 什麼是分佈式鎖? 爲了實現分佈式互斥,我們需要在某個地方做個標記,這個標記是每個線程都可以看到,當標記不存在時可以設置該標記,當標記被設置後,其他線程只能等待擁有該標記的線程執行完成,並釋放該標記後,才能去設置該標記和訪問共享資源
原创 《分佈式技術原理與算法解析》學習筆記Day06
分佈式事務 什麼是分佈式事務? 事務提供了一種機制,將包含一系列操作的工作序列納入到一個不可分割的執行單元,只有所有操作都被正確執行才能提交事務,任意一個操作失敗都會導致整個事務回滾到之前狀態。 簡單的說,事務提供了一種機制,使得工作要麼全
原创 《分佈式技術原理與算法解析》學習筆記Day05
分佈式共識 什麼是分佈式共識? 分佈式共識就是在多個節點均可獨自操作或記錄的情況下,使得所有節點針對某個狀態達成一致的過程。 有哪些常見的分佈式共識算法? 一般有3種分佈式共識算法: PoW(Proof-of-Work,工作量證明) Po