前言
上一篇文章中，介紹了單體調度。單體調度的核心是，所有節點的資源以及用戶的任務均由中央服務器統一管理和調度。因此，中央服務器很容易成爲單點瓶頸，會直接導致其支持的調度規模和服務類型受限。於是兩層調度就出現了。本文主要就來介紹到底什麼是兩層調度，它是如何設計的，又有哪些調度算法呢？
分佈式兩層調度
上文提到單體調度架構，會存在單點瓶頸問題，其會限制調度的效率和支持的任務類型。說會限制任務類型是因爲不同的服務具有不同的特徵，對調度框架和計算的要求都不一樣。比如有的業務最開始時只有批處理任務，後來發展到同時還包括流數據任務，但批處理任務是處理靜態數據，流數據任務卻是處理實時數據。而單體調度框架會隨着任務類型增加而變得越來越複雜，最終出現擴展瓶頸。
針對上面的問題，我們能夠想到的解決方案是：能不能把資源和任務分開調度，也就是說一層調度器只負責資源管理和分配，另外一層調度器負責任務與資源的匹配呢？而這種架構思想就是就是兩層調度架構。
既然是兩層調度架構就自然對應的是兩層調度器，資源的使用狀態同時由中央調度器和第二層調度器管理，中央調度器從整體上進行資源的管理與分配，將資源分配到第二層調度器；再由第二層調度器負責將資源與具體的任務配對，因此第二層調度可以有多個調度器，以支持不同的任務類型。
如下圖所示：
- Scheduler-1 表示第一層調度，是一個經簡化的中央調度器，通常放在分佈式集羣管理系統中，負責收集和管理集羣中的資源信息；
- Scheduler-2 表示第二層調度，由各個應用程序框架完成；
- Scheduler-1 會將集羣資源發送給 Scheduler-2，然後 Scheduler-2 根據任務的資源需求和 Scheduler-1 發送的資源信息進行任務匹配和調度。
![在這裏插入圖片描述]()
兩層調度典型代表是 Apache Mesos 和 Hadoop YARN。
兩層調度架構設計
以 Mesos 爲基礎的分佈式資源管理與調度框架包括兩部分，即 Mesos 資源管理集羣和框架。
- 資源管理集羣是由一個 Master 節點和多個 Slave 節點組成的集中式系統。每個集羣有且僅有一個 Master 節點，負責管理Slave 節點，並對接上層框架；
- Slave 節點向 Master節點週期彙報資源狀態信息，並執行框架提交的任務。框架（Framework）運行在 Mesos 上，是負責應用管理與調度的“組件”，比如Hadoop、Spark、MPI 和 Marathon等，不同的框架用於完成不同的任務，比如批處理任務、實時分析任務等。框架主要由調度器（Scheduler）和執行器（Executor）組成，調度器可以從Master 節點獲取集羣節點的信息 ，執行器在 Slave 節點上執行任務。
Mesos 是一個典型的雙層調度框架： - Mesos Master 上有一個調度器（也就是 Allocation Module），負責管理並分配集羣中的所有資源，是第一層調度；
- 框架上負責任務的管理與調度的調度器，是第二層調度，如下圖所示。
![在這裏插入圖片描述]()
Mesos 兩層調度的基本技術原理： - 框架向 Mesos Master 註冊；
- Mesos Slave 節點定期或週期向 Mesos Master上報本節點的空閒資源；
- Mesos Master 的 Scheduler 進程收集所有節點的空閒資源信息，並以 Resource Offer的方式將空閒資源發送給註冊的框架；
- 框架的 Scheduler 接收到 Mesos發送的資源後，進行任務調度與匹配，匹配成功後，將匹配結果下發給 Mesos Master，並由 Mesos Master轉發給相應節點的執行器執行任務。
Mesos 實現雙層調度時，採用 Resource Offer 機制銜接了第一層和第二層調度。Resource Offer 機制指的是，Mesos Master 主動將節點空閒資源，以類似發放（Offer）的方式發給每個框架，如果框架需要則使用，不需要則還回。
通過 Resource Offer 機制，第一層調度將資源主動告知第二層調度，然後第二層調度進行具體的任務匹配，從而實現了任務調度與資源管理的分離，Mesos Master 通過資源分配算法決定給各個 Framework 提供多少資源，而 Framework 則決定接受哪些資源，以及哪些任務使用這些資源運行。
資源分配算法
Mesos 的資源分配算法解決的問題是，決策需要將當前可用資源分配給哪些框架以及分配多少。下文重點介紹兩種主要的資源分配算法，即：最大最小公平算法（Max-min Fairness，MMF）和主導資源公平算法（Dominant Resource Fairness，DRF）。
最大最小公平算法
這是一種在兼顧公平的前提下，儘可能讓更多人滿意的資源分配算法。這個算法有 3 個主要原則：
- 按照用戶對資源需求量遞增的順序進行空閒資源分配；
- 不存在用戶得到的資源超過自己需求的情況；
- 對於分配的資源不滿足需求的用戶，所獲得的資源是相等的。
在執行資源分配時，最大最小公平算法按照上述 3 條原則進行多次迭代，每次迭代中資源均平均分配，如果還有剩餘資源，就進入下一次迭代，一直到所有用戶資源得到滿足或集羣資源分配完畢，迭代結束。
假設，現在有總量爲 100 的空閒資源，有 4 個用戶 A、B、C、D 對該資源的需求量分別爲（35，10，25，45），分配流程如下所示：
- 按照用戶對資源的需求量升序排列，則 4 個用戶的需求量爲（B:10，C:25，A:35，D:45）。
- 平均分配空閒資源。資源空閒總量 100，除以用戶數 4，則平均空閒資源量爲 25；按照第一步中需求量分配後，用戶資源需求量爲（0，0，10，20），且用戶 B 由於資源需求量小於 25，因此會剩餘資源。此時空閒資源量爲 15，資源需求人數爲 2。重複第二步，平均分配資源，15/2=7.5，即分別爲用戶 A 和 D 分配 7.5 份資源，此時用戶資源需求量爲（0，0，2.5，12.5），空閒資源量爲 0，資源需求人數爲 2。所有資源已分配完，算法終止。
最大最小公平算法的執行流程，如下圖所示。
在這個案例中，最大最小公平算法是由於所有資源全部分配完才終止的。至此，對於需求量爲（10，25，35，45）的用戶們來說，分配到的資源是（10，25，32.5，32.5）。這個算法的另外一個結束條件是，資源分配滿足了所有用戶的資源需求，即當沒有用戶有資源需求時，算法也會終止。
主導資源公平算法
最大最小公平算法採用了絕對公平的方式分配資源，會導致大量的資源浪費，比如用戶需求量爲 35 和 45 的用戶 A 和用戶 D，均分配了 32.5 的空閒資源，但由於資源不滿足需求，這兩個用戶均無法使用。
而主導資源公平算法在考慮用戶公平性的前提下，還考慮了用戶對不同資源類型的需求，以儘可能地合理分配資源。也就是說，同樣的資源量，主導資源公平算法可以儘可能地滿足更多的用戶。
在 Mesos 中，框架對資源的需求往往包括對 CPU、內存等多種類型資源的需求。針對多種資源的需求，主導資源公平算法首先計算已經分配給用戶的每一種資源的佔用率（Resource Share），比如已經分配的 CPU 佔總資源量的多少，已經分配的內存佔總資源量的多少。所有資源佔用率中的最大值稱作該用戶的主導資源佔用率，而主導資源佔用率對應的資源就是用戶的主導資源。
如下圖所示，假設系統中的資源共包括 18 個 CPU 和 36 GB 內存，有兩個 Framework（Framework A 和 Framework B）分別運行了兩種任務，假設 Framework A 運行內存密集型任務，Framework B 運行 CPU 密集型任務，且每個任務所需要的資源量是一致的，分別是 <2 CPU, 8 GB> 和 <6 CPU, 2 GB>。
第一步：計算資源分配量。
假設 x 和 y 分別是 Framework A 和 Framework B 分配的任務數，那麼 Framework A 消耗的資源爲{2x CPU，8x GB}，Framework B 消耗的資源數爲{6y CPU，2y GB}，分配給兩個 Framework 的總資源量爲（2x+6y）個 CPU 和（8x+2y）GB 內存
第二步：確定主導資源。
對於 Framework A 來說，每個任務要消耗總 CPU 資源的 2/18，總內存資源的 8/36，所以 Framework A 的主導資源爲內存；對於 Framework B 來說，每個任務要消耗總 CPU 資源的 6/18 和總內存資源的 2/36，因而 Framework B 的主導資源爲 CPU。
第三步：DRF 算法的核心是平衡所有用戶的主導資源佔用率，儘可能試圖最大化所有用戶中最小的主導資源佔用率。
通過求解下列公式，可以計算出 Framework A 和 Framework B 分配的任務數，並且要在滿足公式的條件下，使得 x 和 y 越大越好。
2x+6y≤18
8x+2y≤36
8x/36=6y/18
通過求解可以得出：x=3，即 Framework A 可以運行 3 個任務；y=2，即 Framework B 可以運行 2 個任務。這樣分配的話，每個 Framework 獲取了相同比例的主導資源，即：A 獲取了 2/3 的內存，B 獲取了 2/3 的 CPU，從而在主導資源上體現了調度算法的公平性。
在實際任務分配過程中，主導資源率是根據已經分配給 Framework 的資源，佔集羣中總資源量的多少進行計算的，並且在每次分配過程中，會選擇主導資源最小的 Framework 進行分配，也就是試圖最大化所有用戶中最小的主導資源佔用率。
最大最小公平與主導資源公平算法對比
- 最大最小公平算法適用於單一類型的資源分配場景，而主導資源公平算法適用於多種類型資源混合的場景。
- 最大最小公平算法從公平的角度出發，爲每個用戶分配不多於需求量的資源；
- 而主導資源公平算法從任務出發，目的在於儘量充分利用資源使得能夠執行的任務越多越好。
兩層調度如何保證不同的業務不會互相干擾？
類似 Mesos 這樣的兩層調度機制，可以同時支持多個框架和多種類型的業務，那麼如何保證這些業務運行時不會互相干擾呢？在 Mesos 中，實現這種資源隔離的是容器。容器的實質是進程，該進程運行於屬於自己的獨立的命名空間，可以擁有自己的 root 文件系統、自己的網絡配置、自己的進程空間，甚至是自己的用戶 ID 空間。Mesos 支持的容器，包括 Linux 自帶的 cgroups 和 Docker。
總結
