喜欢科幻的小伙伴肯定看过《机器人总动员》，男主角“瓦力”是一名地球废品分装员，每天在已经成为了“垃圾场”的地球兢兢业业的收拾人类留下的“烂摊子”。
瓦力是名副其实的智能机器人，除了动作灵活之外，还拥有意识和情感。要不然也不会泡上了有着鸡蛋外形的Eva。
但是，毕竟那是发生在2805年的事情。那时候人类都已经可以开启宇宙之旅了，设计个智能机器人还不是分分钟的事情。
在2019年，造不出拥有情感的机器人，但是用AI模型训练出收拾垃圾的机器人，还是可以的。
一位名叫Damian Bogunowicz的慕尼黑工业大学硕士生，和他的小伙伴一起利用计算机视觉、深度强化学习和Unity 3D游戏引擎开发了一款自主收集垃圾的机器人。
据Damian的博客介绍，他的这个想法最初来自慕尼黑工业大学博士研究会。这群参会的“高端玩家”都很爱喝啤酒，也是慕尼黑啤酒节的常客。但是，看到每年慕尼黑啤酒节狂欢过后一片狼藉，他们陷入了深思........
通常，这些垃圾都是清洁工人收拾，会耗费大量的人力、物力。
Damian由此想到，是否能开发出一款智能机器人，全天候、高效率的帮助这些清洁工人，那么他们的工作效率就会成几何倍数增长。
环境和目标设置
说干就干!
他们的第一步是使用Unity 3D游戏引擎模拟机器人，此外，还使用Unity Machine Learning Agents Toolkit(ML-Agents)插件，使游戏场景成为训练智能体的环境。
在这个实验中，他们将机器人的目标设置为探索环境并学习正确的策略。然后设定一系列的奖励和惩罚。
主要来说，机器人有两个目标：
接近并收集垃圾，例如面包渣、塑料袋以及香肠等食物残渣。
不要与桌子和椅子发生碰撞，不要回收木托盘等物品因为这不属于房间内的垃圾。
在模拟环境中，机器人的形状是正方体，主要有三个动作：
平移运动(向前、向后以及保持静止)
转向运动(左转、右转)
抓取状态。
前两个动作非常简单，抓取状态需要设计。总的来说，每次机器人决定收集一个物体时候需要满足下面两个条件：
1.物体必须靠近机器人的前部(限制在具有绿色边缘的体积内)
2.机器人必须决定激活“抓取器”。当抓取状态被激活时，机器人的颜色从白色变为红色。
惩罚和奖励郑州妇科医院：http://mobile.sgfk029.com/
机器人可以通过与环境的交互和反馈的信号来学习正确的策略。对此系统来说，惩罚值在-1~0之间浮动，奖励值在0~1之间浮动。与其他强化学习不同的是，要在训练数据的时候迅速获得最好的策略，次要目标给予较小的奖励值。当学习复杂任务时，从简单任务入手，逐渐增加任务难度。
这些都可以在Unity ML-Agents中轻松能够实现，具体来说将任务分为两个子目标，在环境中搜索垃圾、判断何时激活抓取状态。
算法训练与模拟
机器人最初不太能分清楚要将哪种物品归为垃圾，后来，通过网络将RBG图像映射到语义分割图，能够有效获得此信息。用数据通过Semantic Segmentation Suite训练SegNet，易于调试和修改，从而节省算力。
另外，语义分割信息不是来自外部神经网络。它是使用Unity中的着色器生成的，使用标签对对象进行分段。这意味着智能体在训练期间可以快速接收有关对象类的可靠，无噪声的信息。