注: 該博客後續將不再更新, 最新版本請見本人個人主頁.
拜占庭將軍問題(The Byzantine Generals Problem)提供了對分佈式共識問題的一種情景化描述, 由Leslie Lamport等人在1982年首次發表. 論文同時提供了兩種解決拜占庭將軍問題的算法：
- 口信消息型解決方案(A solution with oral message);
- 簽名消息型解決方案(A solution with signed message).
本文之後將詳細講述這兩種算法. 事實上, 拜占庭將軍問題是分佈式系統領域最複雜的容錯模型, 它描述瞭如何在存在惡意行爲(如消息篡改或僞造)的情況下使分佈式系統達成一致. 是我們理解分佈式一致性協議和算法的重要基礎.
拜占庭將軍問題描述
拜占庭將軍問題描述了這樣一個場景:
圖1. 拜占庭將軍問題
拜占庭帝國(Byzantine Empire)軍隊的幾個師駐紮在敵城外, 每個師都由各自的將軍指揮. 將軍們只能通過信使相互溝通. 在觀察敵情之後, 他們必須制定一個共同的行動計劃, 如進攻(Attack)或者撤退(Retreat), 且只有當半數以上的將軍共同發起進攻時才能取得勝利. 然而, 其中一些將軍可能是叛徒, 試圖阻止忠誠的將軍達成一致的行動計劃. 更糟糕的是, 負責消息傳遞的信使也可能是叛徒, 他們可能篡改或僞造消息, 也可能使得消息丟失.
爲了更加深入的理解拜占庭將軍問題, 我們以三將軍問題爲例進行說明. 當三個將軍都忠誠時, 可以通過投票確定一致的行動方案, 圖2展示了一種場景, 即General A, B通過觀察敵軍軍情並結合自身情況判斷可以發起攻擊, 而General C通過觀察敵軍軍情並結合自身情況判斷應當撤退. 最終三個將軍經過投票表決得到結果爲進攻:撤退=2:1, 所以將一同發起進攻取得勝利. 對於三個將軍, 每個將軍都能執行兩種決策(進攻或撤退)的情況下, 共存在6中不同的場景, 圖2是其中一種, 對於其他5中場景可簡單地推得, 通過投票三個將軍都將達成一致的行動計劃.
圖2. 三個將軍均爲忠誠的場景
當三個將軍中存在一個叛徒時, 將可能擾亂正常的作戰計劃. 圖3展示了General C爲叛徒的一種場景, 他給General A和General B發送了不同的消息, 在這種場景下General A通過投票得到進攻:撤退=1:2, 最終將作出撤退的行動計劃; General B通過投票得到進攻:撤退=2:1, 最終將作出進攻的行動計劃. 結果只有General B發起了進攻並戰敗.
圖3. 二忠一叛的場景
事實上, 對於三個將軍中存在一個叛徒的場景, 想要總能達到一致的行動方案是不可能的. 詳細的證明可參看Leslie Lamport的論文. 此外, 論文中給出了一個更加普適的結論: 如果存在m個叛將, 那麼至少需要3m+1個將軍, 才能最終達到一致的行動方案.
解決方案
Leslie Lamport在論文中給出了兩種拜占庭將軍問題的解決方案, 即口信消息型解決方案(A solution with oral message)和簽名消息型解決方案(A solution with signed message).
口信消息型解決方案
首先, 對於口信消息(Oral message)的定義如下:
- A1. 任何已經發送的消息都將被正確傳達;
- A2. 消息的接收者知道是誰發送了消息;
- A3. 消息的缺席可以被檢測.
基於口信消息的定義, 我們可以知道, 口信消息不能被篡改但是可以被僞造. 基於對圖3場景的推導, 我們知道存在一個叛將時, 必須再增加3個忠將才能達到最終的行動一致. 爲加深理解, 我們將利用3個忠將1個叛將的場景對口信消息型解決方案進行推導. 在口信消息型解決方案中, 首先發送消息的將軍稱爲指揮官, 其餘將軍稱爲副官. 對於3忠1叛的場景需要進行兩輪作戰信息協商, 如果沒有收到作戰信息那麼默認撤退. 圖4是指揮官爲忠將的場景, 在第一輪作戰信息協商中, 指揮官向3位副官發送了進攻的消息; 在第二輪中, 三位副官再次進行作戰信息協商, 由於General A, B爲忠將, 因此他們根據指揮官的消息向另外兩位副官發送了進攻的消息, 而General C爲叛將, 爲了擾亂作戰計劃, 他向另外兩位副官發送了撤退的消息. 最終Commanding General, General A和B達成了一致的進攻計劃, 可以取得勝利.
圖4. 指揮官爲忠將的場景
圖5是指揮官爲叛將的場景, 在第一輪作戰信息協商中, 指揮官向General A, B發送了撤退的消息, 但是爲了擾亂General C的決定向其發送了進攻的消息. 在第二輪中, 由於所有副官均爲忠將, 因此都將來自指揮官的消息正確地發送給其餘兩位副官. 最終所有忠將都能達成一致撤退的計劃.
圖5. 指揮官爲叛將的場景
如上所述, 對於口信消息型拜占庭將軍問題, 如果叛將人數爲m, 將軍人數不少於3m+1, 那麼最終能達成一致的行動計劃. 值的注意的是, 在這個算法中, 叛將人數m是已知的, 且叛將人數m決定了遞歸的次數, 即叛將數m決定了進行作戰信息協商的輪數, 如果存在m個叛將, 則需要進行m+1輪作戰信息協商. 這也是上述存在1個叛將時需要進行兩輪作戰信息協商的原因.
簽名消息型解決方案
同樣, 對簽名消息的定義是在口信消息定義的基礎上增加了如下兩條:
- A4. 忠誠將軍的簽名無法僞造，而且對他簽名消息的內容進行任何更改都會被發現;
- A5. 任何人都能驗證將軍簽名的真僞.
基於簽名消息的定義, 我們可以知道, 簽名消息無法被僞造或者篡改. 爲了深入理解簽名消息型解決方案, 我們同樣以3三將軍問題爲例進行推導. 圖6是忠將率先發起作戰協商的場景, General A率先向General B, C發送了進攻消息, 一旦叛將General C篡改了來自General A的消息, 那麼General B將將發現作戰信息被General C篡改, General B將執行General A發送的消息.
圖6. 忠將率先發起作戰協商
圖7是叛將率先發起作戰協商的場景, 叛將General C率先發送了誤導的作戰信息, 那麼General A, B將發現General C發送的作戰信息不一致, 因此判定其爲叛將. 可對其進行處理後再進行作戰信息協商.
圖7. 叛將率先發起作戰協商
簽名消息型解決方案可以處理任何數量叛將的場景.
論文簡介
Leslie Lamport等人的論文*‘The Byzantine Generals Problem’*的提綱如下:
- 1.Introduction: 介紹了拜占庭將軍問題;
- 2.Impossibility Results: 通過反正法證明了, 三將軍問題對於口信消息是無解的;
- 3.A solution with oral message: 介紹了口信消息型拜占庭將軍問題的解決方案;
- 4.A solution with signed message: 介紹了簽名消息型拜占庭將軍問題的解決方案;
- 5.Missing communication paths: 講述了在通信小時情況下的拜占庭將軍問題;
- 6.Reliable systems: 講述瞭如何通過拜占庭將軍問題構建可靠的系統;
- 7.Conclution: 總結.
總 結
在分佈式系統領域, 拜占庭將軍問題中的角色與計算機世界的對應關係如下:
- 將軍, 對應計算機節點;
- 忠誠的將軍, 對應運行良好的計算機節點;
- 叛變的將軍, 被非法控制的計算機節點;
- 信使被殺, 通信故障使得消息丟失;
- 信使被間諜替換, 通信被攻擊, 攻擊者篡改或僞造信息.
如上文所述, 拜占庭將軍問題提供了對分佈式共識問題的一種情景化描述, 是分佈式系統領域最複雜的模型. 此外, 它也爲我們理解和分類現有的衆多分佈式一致性協議和算法提供了框架. 現有的分佈式一致性協議和算法主要可分爲兩類:
- 一類是故障容錯算法(Crash Fault Tolerance, CFT), 即非拜占庭容錯算法, 解決的是分佈式系統中存在故障, 但不存在惡意攻擊的場景下的共識問題. 也就是說, 在該場景下可能存在消息丟失, 消息重複, 但不存在消息被篡改或僞造的場景. 一般用於局域網場景下的分佈式系統, 如分佈式數據庫. 屬於此類的常見算法有Paxos算法, Raft算法, ZAB協議等.
- 一類是拜占庭容錯算法, 可以解決分佈式系統中既存在故障, 又存在惡意攻擊場景下的共識問題. 一般用於互聯網場景下的分佈式系統, 如在數字貨幣的區塊鏈技術中. 屬於此類的常見算法有PBFT算法, PoW算法.
