喜歡科幻的小夥伴肯定看過《機器人總動員》，男主角“瓦力”是一名地球廢品分裝員，每天在已經成爲了“垃圾場”的地球兢兢業業的收拾人類留下的“爛攤子”。
瓦力是名副其實的智能機器人，除了動作靈活之外，還擁有意識和情感。要不然也不會泡上了有着雞蛋外形的Eva。
但是，畢竟那是發生在2805年的事情。那時候人類都已經可以開啓宇宙之旅了，設計個智能機器人還不是分分鐘的事情。
在2019年，造不出擁有情感的機器人，但是用AI模型訓練出收拾垃圾的機器人，還是可以的。
一位名叫Damian Bogunowicz的慕尼黑工業大學碩士生，和他的小夥伴一起利用計算機視覺、深度強化學習和Unity 3D遊戲引擎開發了一款自主收集垃圾的機器人。
據Damian的博客介紹，他的這個想法最初來自慕尼黑工業大學博士研究會。這羣參會的“高端玩家”都很愛喝啤酒，也是慕尼黑啤酒節的常客。但是，看到每年慕尼黑啤酒節狂歡過後一片狼藉，他們陷入了深思........
通常，這些垃圾都是清潔工人收拾，會耗費大量的人力、物力。
Damian由此想到，是否能開發出一款智能機器人，全天候、高效率的幫助這些清潔工人，那麼他們的工作效率就會成幾何倍數增長。
環境和目標設置
說幹就幹!
他們的第一步是使用Unity 3D遊戲引擎模擬機器人，此外，還使用Unity Machine Learning Agents Toolkit(ML-Agents)插件，使遊戲場景成爲訓練智能體的環境。
在這個實驗中，他們將機器人的目標設置爲探索環境並學習正確的策略。然後設定一系列的獎勵和懲罰。
主要來說，機器人有兩個目標：
接近並收集垃圾，例如麪包渣、塑料袋以及香腸等食物殘渣。
不要與桌子和椅子發生碰撞，不要回收木托盤等物品因爲這不屬於房間內的垃圾。
在模擬環境中，機器人的形狀是正方體，主要有三個動作：
平移運動(向前、向後以及保持靜止)
轉向運動(左轉、右轉)
抓取狀態。
前兩個動作非常簡單，抓取狀態需要設計。總的來說，每次機器人決定收集一個物體時候需要滿足下面兩個條件：
1.物體必須靠近機器人的前部(限制在具有綠色邊緣的體積內)
2.機器人必須決定激活“抓取器”。當抓取狀態被激活時，機器人的顏色從白色變爲紅色。
懲罰和獎勵鄭州婦科醫院：http://mobile.sgfk029.com/
機器人可以通過與環境的交互和反饋的信號來學習正確的策略。對此係統來說，懲罰值在-1~0之間浮動，獎勵值在0~1之間浮動。與其他強化學習不同的是，要在訓練數據的時候迅速獲得最好的策略，次要目標給予較小的獎勵值。當學習複雜任務時，從簡單任務入手，逐漸增加任務難度。
這些都可以在Unity ML-Agents中輕鬆能夠實現，具體來說將任務分爲兩個子目標，在環境中搜索垃圾、判斷何時激活抓取狀態。
算法訓練與模擬
機器人最初不太能分清楚要將哪種物品歸爲垃圾，後來，通過網絡將RBG圖像映射到語義分割圖，能夠有效獲得此信息。用數據通過Semantic Segmentation Suite訓練SegNet，易於調試和修改，從而節省算力。
另外，語義分割信息不是來自外部神經網絡。它是使用Unity中的着色器生成的，使用標籤對對象進行分段。這意味着智能體在訓練期間可以快速接收有關對象類的可靠，無噪聲的信息。