未来机器人：一起工作 互相学习

通过“强化学习”，让每个智能体适应周围环境和群体协作。未来的分布式机器人可以互相学习，一起工作，共同完成复杂任务。图片来自网络

分布式智能体（Agent）具有自主性、交互性、反应性和主动性

据美国《连线》杂志网站近日报道，目前大部分人工智能研究都集中在个体智能体（Agent，指能自主活动的软件或者硬件实体）上，人工智能系统也一直是作为个体运作，但这些个体智能体不能组合成一个团队来学习、工作，也不能相互协作完成相应的任务。麻省理工学院航空航天教授乔纳森·豪认为，这种工作模式丧失了一个巨大的机会，未来机器人应该一起工作，互相学习。

在分布计算领域，人们通常把在分布式系统中持续自主发挥作用并具有自主性、交互性、反应性和主动性的计算实体称为Agent。例如一辆单独行驶在街道上的汽车，一种能根据周围环境变化而不断调整的恒温器。

豪领导的研究团队一直致力于研究改变“移动和人工智能设备相互协作和学习的方式”，希望通过人工智能的核心能力——机器学习，帮助智能对象，使彼此更智能。

豪认为，未来机器人可以互相学习，共同工作，从而改变物流（机器人完成订单并送货上门）和太空探索（机器人合作探索新领域）等行业。而真正的挑战是为这些人工智能机器人在实验室之外的真实世界做好准备，这才是人工智能应该涉猎的领域。

机器人个体结成团队工作

现实世界远比人工智能机器人开发实验室环境复杂。在团队工作中，人类会思考，其他人在做什么？如何共同完成任务？这个任务会发生怎样的变化？等等。而这些问题，都将是机器人以团队形式工作时所需要“考虑”的。

为了让机器人以群体形式工作，豪带领的团队让智能体在周边环境中反复试验，像人类一样学习。团队利用他们自己开发的新算法，以及机器人行业的经验，对其进行了优化，使用了一种名为强化学习的机器学习技术，让它们适应周边环境。

团队甚至更进一步研究了“多智能体”参与时发生了什么。“多智能体”强化学习这门新兴学科存在许多难题，包括：如何让独立的智能体在其他方面建立共识并达成一致？如何确保它们之间不断的交谈不会淹没整个网络？当一个有人工智能功能的机器人认为自己知道正确的做事方式，但它却错了时又会发生什么？

豪说：“如果我们对什么时候去吃晚饭都有不同的看法，你需要多少沟通才能达成一致？这看起来相对简单的问题，但在机器人系统中，我们要处理的问题非常多，通常这些问题都有很多不确定性。”

只有出现了可行的深度学习平台，才有可能真正回答这些问题。豪和他的团队使用由亚马逊的EC2 GPU实例支持的AWS深度学习AMI环境，这些实例不需要管理机架和服务器，就可以在云上执行非常复杂的计算。他们的最终目标是训练和运行强化学习模型的速度和准确性，以保证机器人足以应对现实世界中行为的影响。比如，当机器人意见不一致时，它们之间不断的唠叨不会淹没整个网络。

复杂计算需要云平台

在智能机器人共同学习的理想生态系统中，整体大于部分之和，这需要重大的技术努力才能实现。

在亚马逊云服务（AWS）、波音和IBM联合资助下，豪的团队已经进行了一段时间的深入研究，通过足够的计算能力运行复杂的强化学习算法，使一群机器人保持不断的通信，并在联机中调整它们的行为。新的强化学习系统被称为分层多智能体教学，通过优化奖励功能和更有效的沟通，成功地提高了机器人在团队范围内的学习和协作整合解决问题的能力。利用基于云的服务，团队中的每个成员都可以根据自己的需要，访问尽可能多的计算能力。

“在这种基于模拟的训练中，我们要测试数百种设置，速度是至关重要的。”豪教授的硕士研究生金东基（音译）说，“机器学习直接转化为我们在更短的时间内运行更多迭代的能力。AWS提供了强大的GPU实例，大大缩短了训练时间，加快了我们的研究步伐。”

豪认为，这项研究商业化需要5—10年的时间，但这可能是未来人工智能应用的一个基本推动者。他表示，合作、有弹性机器人的用途几乎是无限的。