異構羣體機器人協作任務分配（羣體智能論文學習）
目錄
1、題外話：無人機集羣發展個人淺見
當前限制無人機集羣發展的技術瓶頸有：1、通信。帶寬窄、自組網絡難以達成、對wifi、4g或者zigbee的基站要求高，無法實現完全脫離中心通信的問題，這也是實現無人集羣自主zz的關鍵問題。2、能源。目前小型無人機的運行時間基本在1h以下，多爲半個小時，這與無人的耗能大、能源技術有限都有關，這也限制了無人機可攜帶負載、可覆蓋區域、可處理計算等能力。3、自主性和智能性。當前的無人機智能還處於初級階段，主要解決自主避碰和編隊等基本問題，還未涉及更高級的飛行動作，態勢分析能力弱，計算能力低下導致複雜算法並不能在機載計算機上實現，種種約束導致了當前無人機自主智能。
當前5G技術的發展將會助力物聯網時代的到來，也是無人時代的到來，極大可能解決不依託固定基站的無人機自組織網絡的構建問題。能源技術也在不斷髮展，新能源汽車的快速發展也代表未來將會有更多的電力充電站、電池技術也將更加成熟，如果同樣大小的電池能夠提供更多電能，將極大解放無人集羣的能力邊界。人工智能是當代最熱門的IT領域，圖像識別能力、數據分析能力都在不斷提升，里程碑式出現了alphaGo，alphaZero等打敗人類最高圍棋水平的人工智能，同時在機器人、飛行器製作等方面的技術也在不斷提升，實現特技飛行、攜帶機槍等武器的無人機也已有了原型機。這些技術的發展趨勢將會很好的解決當前制約無人機的幾個難點。
2、無人機集羣在科幻電影中的精彩應用
感興趣的可以看看在電影《蜘蛛俠2》中的無人機應用模式。（鏈接傳送）
3、進入正題：羣體機器人協同任務分配問題
羣體機器人系統由於其冗餘性、同時執行不同任務的能力以及容錯能力，越來越多地被用於實現動態和複雜的目標[1,2]。然而，對於大型機器人羣體，羣體協調問題變得非常複雜，通常需要機器人之間的通信或能夠訪問羣體全局信息的中心協調器[3]。這推動了分散協調控制算法的發展，其中機器人之間的簡單交互導致實現各種目標所需的湧現特性，例如幾何形態[4]，任務分配[5,6]，或者覆蓋一個區域[7]。
在羣體機器人的衆多任務中，分佈式任務分配問題在近年來的控制和機器人學文獻中得到了廣泛的關注。最基本的問題是，一組機器人應該選擇一個特定的任務，以便在多個候選任務之間進行最優分配。解決這些問題的許多工作已經被研究爲基於博弈論的協商算法[8，9]、動態目標分配問題[10-15]、網絡上的量化共識[16-18]或任務分配的隨機策略[19，20]。這些動態分配方法通常需要機器人之間的顯式通信。
與前面的研究工作不同，基於羣體智能的任務分配算法的靈感來源於羣居昆蟲由於其在羣體中的自我組織和自我調節能力而成爲集體行爲。一個有趣的特徵是在昆蟲羣落中經常發現的分工：螞蟻的覓食和築巢防禦[21]，蜜蜂的覓食和護理[22]，花蜜和花粉收集[23]都是分工的例子。個體昆蟲對環境的感知和認識非常有限，沒有集中的協調機制來指導社會昆蟲的合作行爲。儘管它們的能力有限，但它們通過相互作用提高了整個系統的有效性、效率和魯棒性，並展示了自適應任務分配以獲得羣體生存的共同目標。
對於分佈式執行任務的機器人集羣來說，這類生物啓發式任務分配方法由於不依賴機器人間通信，可以很好適應拒止環境，且可以很容易地部署在性能有限的大規模廉價機器人上，不需要機器人之間的廣泛協調，並且對意外的機器人故障具有魯棒性，因此非常有吸引力。
許多基於羣體智能的任務分配方法已經被提出[24-28]。在衆多模型中，我們主要關注響應閾值模型[26, 27]。該模型基於對昆蟲羣體集體行爲的觀察，特別是蜜蜂和螞蟻所做的工作，並提出了一個使用響應閾值調節分工的簡單數學模型[29,27]。單個智能體基於任務強度和確定個體對執行任務的響應趨勢的相應響應閾值來響應執行任務。根據不同的響應閾值，對同一任務強度產生不同的響應，這一特性決定了單個智能體是否有執行任務的傾向。這些特點對許多應用領域的研究都是一種啓發，基於這個模型已經完成了許多不同的工作[30-34]。
基於響應閾值的任務分配由於其分工是通過簡單的規則來實現的，因此得到了廣泛的研究。在這個模型中，獲得合適的閾值分佈對於獲得期望的勞動分工很重要，並且研究了使用固定閾值或可變閾值的各種工作。首先，研究了固定響應閾值模型作爲解釋分工規律的重要理論[27]。在羣居昆蟲中，兩種普遍的模式在分工中起着一定的作用：年齡相關的任務執行模式和不同的工人的大小和/或形狀[35]。已經研究了動態適應閾值的改進版本[36]，其中研究了wasp羣體如何協調100個個體活動和分配任務的計算模型。該模型基於強化學習模型[37]調節閾值以獲得最佳閾值。執行後，通過降低執行任務的閾值和增加未執行其他任務的閾值來更新閾值。在這些重複行爲的基礎上，每一個個體對特定的任務都有一種專業化的傾向，這種傾向在一個羣體中產生了更有效的分工。使用人工神經網絡優化響應閾值模型[38]。
在蜂羣中，人們知道工蜂的年齡與它們通常執行的任務之間存在着相關性[39-44]。較年輕的工人執行內部任務（育兒護理和鳥巢維護），較年長的工人在蜂巢外執行覓食和防禦任務。然而，這種趨勢可以通過羣體成員的年齡分佈來靈活地改變。例如，在幼齡蜜蜂比例較高的羣體中，蜜蜂開始覓食任務的年齡低於正常羣體，年長蜜蜂的存在會延遲或抑制羣體中其他幼齡蜜蜂生理年齡的發育。在Huang和Robinson的工作（1996）中，研究表明蜜蜂之間的工蜂相互作用驅動荷爾蒙調節機制，導致社會抑制。這一事實被用於基於社會抑制的任務分配的其他研究中[42-44]。Jones和Mataric（2006）對類似問題進行了研究，提出了一種基於數學模型的分工機制。其他有趣的研究集中在處理機器人羣中任務分配的任務轉移率[45, 46, 19]，並表明適當選擇任務轉移率可以指導所需的任務分配。此外，還研究了描述任務轉移動力學的宏觀分析模型[20]。
4、典型文章分析（7篇）
（1）羣體機器人系統任務分配的自適應調節方法
在羣體機器人系統中，任務分配問題一直是一個具有挑戰性的問題。本文研究了多機器人在給定時間範圍內並行採集多個目標的動態任務分配問題。提出了一種無需機器人間通信的響應閾值模型分散策略。在這裏，我們爲每個機器人引入了一個任務選擇概率函數，以平衡任務需求和執行任務的機器人。該方法通過改變任務選擇概率函數中給定的響應閾值，可以產生任務的變化趨勢。使用此屬性，每個機器人可以通過調整響應閾值在所有可用任務中選擇自己的任務。這最終會在組級別促進所需的任務分佈，並減少任務更改的數量。我們的方法建議根據最近觀察到的物體和鄰近機器人在周圍區域觀察到的任務來更新機器人的響應閾值。我們提供了一個收斂性分析，即系統可以隨機收斂到期望任務分佈的平衡點。即使只有局部的環境信息被賦予個體機器人，這種方法也是有效的。通過對多機器人執行覓食任務的仿真，驗證了該方法的有效性，並給出了一個動態的任務分配過程[47]。
評述：該文章探討了兩類機器人（紅綠，完成對應顏色的覓食任務），實驗分析比較完善，但運動模型、任務模型、通信模型建立偏簡單，有較大改進空間。
（2）面向時間約束任務的局部蟻羣算法
我們提出了一種新的蟻羣優化算法應用於有效地將一組齊次機器人分配給一組需要在特定期限內完成的任務。我們利用機器人之間的局部通信來週期性地評估分配方案的質量，並且智能體在高質量的方案中獨立選擇。使用信息素跟蹤進行評估，以支持最小化任務執行時間的分配。我們的方法在靜態和動態環境（即任務可用性隨時間而變化）中使用不同的基於物理的模擬集進行了驗證[48]。
評述：缺乏對照實驗，只是針對自己工作不同的參數配置來進行實驗分析；缺乏實機實驗。
（3）基於機器人相遇的機器人羣閉環任務分配
在羣體機器人系統中，協調行爲是通過機器人之間以及機器人與環境之間的局部交互而產生的。對於在封閉區域內執行一組預先定義的任務的機器人羣，本文提出了一種分散機制，利用機器人在區域內移動時發生的空間交互，將任務分配給每個機器人。爲了獲得執行每項任務所需的羣體百分比，開發的策略允許個體機器人在區域內遇到其他機器人時，以一定的概率在不同任務之間切換。我們利用Enskog稠密氣體理論的思想，建立了一個分析模型來描述在稠密的機器人羣中發生的機器人間相遇，並說明了羣體如何利用這個模型來達到所需的分配水平。此外，機器人之間的相遇使機器人能夠測量當前的溫度分配，而溫度的分配是使用或調節的在任務之間切換。這個根據當前分配與所需值之間的距離，允許軟件接受或降低任務之間的傳輸速率，最終促進不間斷任務由機器人執行。本文介紹的方法說明了如何利用羣體中機器人之間自然發生的相遇，以閉環的方式將任務分配給機器人。所開發的算法是完全分散的，可以部署到最小的機器人上，以滿足通信的需要。在一組實際機器人上驗證了該算法的性能[49]。
（4）基於響應閾值Sigmoid模型的覓食機器人羣體自主任務分配
本文提出了一個任務分配模型，用於在一羣覓食機器人中自動調整工作機器人的數量。在羣體覓食中，覓食區的交通擁擠和機器人之間的物理干擾會顯著降低羣體的性能。首次引入交通流密度的概念，用以反映覓食區的交通狀況。避障量是指羣體覓食過程中產生的物理干擾次數。交通流密度和避障量共同調整閾值。在提出的響應閾值sigmoid模型（RTSM）中，個體機器人可以根據閾值和外部刺激自主決定是否覓食，羣體系統可以完成預期的覓食任務。爲了評價該方法的性能，進行了仿真實驗。介紹了幾種性能指標對實驗結果進行分析，並與自適應響應閾值模型（ARTM）進行了比較。實驗結果表明，RTSM提高了覓食效率，減少了物理干擾[50]。
（5）複雜任務中機器人羣的人工進化自主任務分配
羣體機器人學是一個多機器人在沒有任何形式的集中控制的情況下，自主地協調集體行爲以完成給定任務的領域。在羣體機器人中，任務分配是指機器人在不同的子任務上動態分佈的行爲，這是解決複雜任務所必需的。進化機器人技術是發展機器人羣體集體行爲的一種很有前途的方法。然而，人工進化常常會遇到兩個問題：自舉問題和欺騙問題，特別是當底層任務非常複雜時。爲了克服這些困難，本文提出了一種由任務劃分和自主任務分配兩步組成的方案。我們進行了計算機模擬實驗，其中機器人羣必須完成一個複雜的集體覓食問題，結果表明，所提出的方法比傳統的進化機器人方法更有效[51]。
（6）基於局部交互的可擴展羣體機器人系統中的自主角色分配與任務分配
提出了一種基於響應閾值模型的可擴展羣體機器人系統局部交互自主角色分配和任務分配方法。響應閾值描述了螞蟻對信息素的敏感性。在現實生活中，存在着信息素敏感性高和低的螞蟻。螞蟻的信息素敏感性與自主角色分配和任務分配有關。在傳統的響應閾值模型中，假設一隻螞蟻可以獲得蟻羣中所有工人的數量。然而，螞蟻的功能非常有限，很難獲得和處理所有的工作人員。因此，我們使用一個響應閾值模型，該模型引用所遇到的覓食螞蟻的數量，而不是所有工作人員的數量。在本研究中，我們將所提出的方法應用於蟻羣覓食問題，並展示了所提出方法在動態環境下的穩健性[52]。
（7）異構空中機器人羣最小需求協同任務的集成決策框架
在多任務空間分佈的協同任務環境下，空中機器人羣的決策問題包括團隊組建、團隊對任務分配、agent對工作位置分配和避免碰撞的軌跡優化。當涉及到異構智能體、任務的最小需求和公平分配時，問題變得更加複雜。本文將所有的組合問題列爲一個優化問題，然後提出一個以分散方式解決問題的集成框架。我們將複雜的原始問題近似分解爲三個子問題（即聯盟形成、位置分配和路徑規劃），這些子問題由三個不同的模塊依次處理。以博弈論爲基礎的聯盟形成模塊處理一個最大-最小問題，其目標是將代理劃分成不相交的任務特定團隊，使代理的工作資源與任務的最小工作量要求成比例。對於分配給同一任務的代理，在合理的假設下，位置分配子問題可以從計算複雜度的角度得到有效的解決。在軌跡優化方面，我們採用了模型預測控制和序列凸規劃算法，減小了問題的規模，使智能體能夠實時生成無碰撞的軌跡。作爲概念驗證，將該框架應用於無人機羣協同待命干擾任務場景中，通過數值實驗驗證了其可行性、容錯性和近似最優性[53]。
參考文獻
[1] Brambilla, M., Ferrante, E., Birattari, M., & Dorigo, M. (2013). Swarm robotics: A review from the swarm engineering perspective. Swarm Intelligence, 7(1), 1–41.
[2] Sahin, E. (2005). Swarm robotics: From sources of inspiration to domains of application. In E. ¸ Sahin & W. M. Spears (Eds.), Swarm robotics (pp. 10–20). Berlin: Springer.
[3] Iocchi, L., Nardi, D., & Salerno, M. (2001). Reactivity and deliberation: A survey on multi-robot systems. In M. Hannebauer & J. Wendler (Eds.), Balancing reactivity and social deliberation in multi-agent systems (pp. 9–32). Berlin: Springer.
[4] Cheah, C. C., Hou, S. P ., & Slotine, J. J. E. (2009). Region-based shape control for a swarm of robots. Automatica, 45(10), 2406–2411.
[5] Berman, S., Halász, Á., & Hsieh, M. (2016). Ant-inspired allocation: Top-down controller design for distributing a robot swarm among multiple tasks (pp. 243–274). Boca Raton: CRC Press.
[6] Berman, S., Halász, Á., Hsieh, M. A., & Kumar, V . (2009). Optimized stochastic policies for task allocation in swarms of robots. IEEE Transactions on Robotics, 25(4), 927–937.https://doi.org/10.1109/TRO.2009.2024997.
[7] Cortes, J., Martinez, S., Karatas, T., & Bullo, F. (2004). Coverage control for mobile sensing networks. IEEE Transactions on Robotics and Automation, 20(2), 243–255.
[8] G. Arslan, J. R. Marden, J. S. Shamma, Autonomous vehicle-target assignment:
A game-theoretical formulation, Journal of Dynamic Systems, Measurement, and
Control 129 (5) (2007) 584–596.
[9] R. Cui, J. Guo, B. Gao, Game theory-based negotiation for multiple robots task 560
allocation, Robotica 31 (06) (2013) 923–934.
[10] D. Castanon, C. Wu, Distributed algorithms for dynamic reassignment, in: Decision
and Control, 2003. Proceedings. 42nd IEEE Conference on, Vol. 1, IEEE, 2003, pp.
13–18.
[11] S. L. Smith, F. Bullo, Monotonic target assignment for robotic networks, Automatic 565
Control, IEEE Transactions on 54 (9) (2009) 2042–2057.
[12] D. Zou, H. Liu, L. Gao, S. Li, An improved differential evolution algorithm for the
task assignment problem, Engineering Applications of Artificial Intelligence 24 (4)
(2011) 616–624.
[13] A. T. Tolmidis, L. Petrou, Multi-objective optimization for dynamic task allocation 570
in a multi-robot system, Engineering Applications of Artificial Intelligence 26 (5)
(2013) 1458–1468.
[14] W. Lee, D. Kim, Handling interference effects on foraging with bucket brigades,
Bioinspiration & biomimetics 12 (6) (2017) 066001.
[15] W. Lee, D. Kim, Autonomous shepherding behaviors of multiple target steering 575
robots, Sensors 17 (12) (2017) 2729.
[16] A. Kashyap, T. Ba¸ sar, R. Srikant, Quantized consensus, Automatica 43 (7) (2007)
1192–1203.
[17] M. P. Fanti, A. M. Mangini, W. Ukovich, A quantized consensus algorithm for
distributed task assignment, in: Decision and Control (CDC), 2012 IEEE 51st 580
Annual Conference on, IEEE, 2012, pp. 2040–2045.
[18] C.-Y. Hsu, B.-R. Kao, K. R. Lai, et al., Agent-based fuzzy constraint-directed ne-
gotiation mechanism for distributed job shop scheduling, Engineering Applications
of Artificial Intelligence 53 (2016) 140–154.
[19] S. Berman,Á. Hal´ asz, M. A. Hsieh, V. Kumar, Optimized stochastic policies for 585
task allocation in swarms of robots, Robotics, IEEE Transactions on 25 (4) (2009)
927–937.
[20] T. W. Mather, M. A. Hsieh, Macroscopic modeling of stochastic deployment poli-
cies with time delays for robot ensembles, The International Journal of Robotics
Research (2011) 0278364911401442.
[21] C. Detrain, J. Pasteels, Caste differences in behavioral thresholds as a ba-
sis for polyethism during food recruitment in the ant, pheidole pallidula
(nyl.)(hymenoptera: Myrmicinae), Journal of insect behavior 4 (2) (1991) 157–176.
[22] N. W. Calderone, R. E. Page Jr, Temporal polyethism and behavioural canalization
in the honey bee, apis mellifera, Animal behaviour 51 (3) (1996) 631–643. 595
[23] K. P. Visscher, R. Dukas, Honey bees recognize development of nestmates’ ovaries,
Animal Behaviour 49 (2) (1995) 542–544.
[24] C. Tofts, Algorithms for task allocation in ants.(a study of temporal polyethism:
theory), Bulletin of Mathematical Biology 55 (5) (1993) 891–918.
[25] E. Bonabeau, G. Theraulaz, J.-L. Deneubourg, Quantitative study of the fixed 600
threshold model for the regulation of division of labour in insect societies, Proceed-
ings of the Royal Society of London. Series B: Biological Sciences 263 (1376) (1996)
1565–1569.
[26] E. Bonabeau, A. Sobkowski, G. Theraulaz, J.-L. Deneubourg, Adaptive task allo-
cation inspired by a model of division of labor in social insects., in: BCEC, 1997, 605
pp. 36–45.
[27] G. Theraulaz, E. Bonabeau, J. Denuebourg, Response threshold reinforcements and
division of labour in insect societies, Proceedings of the Royal Society of London.
Series B: Biological Sciences 265 (1393) (1998) 327–332.
[28] M. Dorigo, G. Caro, L. Gambardella, Ant algorithms for discrete optimization, 610
Artificial life 5 (2) (1999) 137–172.
[29] E. Bonabeau, G. Theraulaz, J.-L. Deneubourg, Fixed response thresholds and the
regulation of division of labor in insect societies, Bulletin of Mathematical Biology
60 (4) (1998) 753–807.
[30] E. L. Mansfield, F. Karayanidis, S. Jamadar, A. Heathcote, B. U. Forstmann, Ad- 615
justments of response threshold during task switching: a model-based functional
magnetic resonance imaging study, The Journal of neuroscience 31 (41) (2011)
14688–14692.
[31] E. Castello, T. Yamamoto, Y. Nakamura, H. Ishiguro, Task allocation for a robotic
swarm based on an adaptive response threshold model, in: Control, Automation 620
and Systems (ICCAS), 2013 13th International Conference on, IEEE, 2013, pp.
259–266.
[32] M.-H. Kim, H. Baik, S. Lee, Response threshold model based uav search planning
and task allocation, Journal of Intelligent & Robotic Systems 75 (3-4) (2014) 625–
640. 625
[33] A. Kanakia, J. Klingner, N. Correll, A response threshold sigmoid function model
for swarm robot collaboration, in: Distributed Autonomous Robotic Systems,
Springer, 2016, pp. 193–206.
[34] W. Lee, D. Kim, History-based response threshold model for division of labor in
multi-agent systems, Sensors 17 (6) (2017) 1232. 630
[35] L. Sundstrom, Sex allocation and colony maintenance in monogyne and polygyne
colonies of formica truncorum (hymenoptera: Formicidae): the impact of kinship
and mating structure, American Naturalist (1995) 182–201.
[36] V. A. Cicirello, S. F. Smith, Wasp-like agents for distributed factory coordination,
Autonomous Agents and Multi-agent systems 8 (3) (2004) 237–266. 635
[37] R. S. Sutton, A. G. Barto, Introduction to reinforcement learning, MIT Press, 1998.
[38] P. Lichocki, D. Tarapore, L. Keller, D. Floreano, Neural networks as mechanisms
to regulate division of labor, The American Naturalist 179 (3) (2012) 391–400.
[39] E. O. Wilson, et al., The insect societies., The insect societies.
[40] M. L. Winston, The biology of the honey bee, Harvard University Press, 1991. 640
[41] Z.-Y. Huang, G. E. Robinson, Regulation of honey bee division of labor by colony
age demography, Behavioral Ecology and Sociobiology 39 (3) (1996) 147–158.
[42] S. N. Beshers, J. H. Fewell, Models of division of labor in social insects, Annual
review of entomology 46 (1) (2001) 413–440.
[43] S. Beshers, Z. Huang, Y. Oono, G. Robinson, Social inhibition and the regulation of 645
temporal polyethism in honey bees, Journal of Theoretical Biology 213 (3) (2001)
461–479.
[44] K. Lerman, C. Jones, A. Galstyan, M. J. Matari´ c, Analysis of dynamic task alloca-
tion in multi-robot systems, The International Journal of Robotics Research 25 (3)
(2006) 225–241. 650
[45] A. Hal´ asz, M. A. Hsieh, S. Berman, V. Kumar, Dynamic redistribution of a swarm
of robots among multiple sites, in: Intelligent Robots and Systems, 2007. IROS
2007. IEEE/RSJ International Conference on, IEEE, 2007, pp. 2320–2325.
[46] M. A. Hsieh,Á. Hal´ asz, S. Berman, V. Kumar, Biologically inspired redistribution
of a swarm of robots among multiple sites, Swarm Intelligence 2 (2) (2008) 121–141.
[47] W. Lee, D. Kim, Adaptive approach to regulate task distribution in swarm
robotic systems, Swarm and Evolutionary Computation BASE DATA (2018), doi: https://doi.org/10.1016/j.swevo.2018.11.005.
[48] Khaluf Y , Vanhee S , Simoens P . Local Ant System for Allocating Robot Swarms to Time-constrained Tasks[J]. Journal of Computational ence, 2018, 31.
[49] Mayya S , Wilson S , Egerstedt M . Closed-loop task allocation in robot swarms using inter-robot encounters[J]. Swarm Intelligence, 2019, 13(2):115-143.
[50] Pang B , Song Y , Zhang C , et al. Autonomous Task Allocation in a Swarm of Foraging Robots: An Approach Based on Response Threshold Sigmoid Model[J]. International Journal of Control Automation & Systems, 2019.
[51] Wei Y , Hiraga M , Ohkura K , et al. Autonomous task allocation by artificial evolution for robotic swarms in complex tasks[J]. Artificial Life & Robotics, 2018.
[52] Yamada K . Autonomous role assignment and task allocation in scalable swarm robotic systems using local interactions[J]. Artificial Life and Robotics, 2018, 23(4):636-644.
[53] Jang I , Shin H S , Tsourdos A , et al. An integrated decision-making framework of a heterogeneous aerial robotic swarm for cooperative tasks with minimum requirements[J]. Proceedings of the Institution of Mechanical Engineers Part G Journal of Aerospace Engineering, 2018:095441001877262.
歡迎大家點贊、評論、收藏、關注~