观看两个由人工智能驱动的微型机器人踢足球

谷歌DeepMind现在能够训练现成的微型机器人在足球场上站立。在今天发表在《科学机器人》杂志上的一篇新论文中，研究人员详细介绍了他们最近努力调整一个被称为深度强化学习（Deep RL）的机器学习子集，以教双足机器人一项简化版本的运动。该团队指出，虽然过去类似的实验创造了极其敏捷的四足机器人（见：波士顿动力点），但对两条腿的人形机器进行的工作要少得多。但是机器人运球、防守和射门的新镜头展示了深度学习强化对人形机器的教练有多好。

虽然DeepMind的最终用途是气候预测和材料工程等大规模任务，但谷歌DeepMind也可以在国际象棋、围棋甚至星际争霸2等游戏中彻底击败人类竞争对手。但所有这些战略机动都不需要复杂的物理运动和协调。因此，尽管DeepMind可以研究模拟足球运动，但它还无法转化为物理运动场——但这种情况正在迅速改变。

为了制作微型梅西，工程师们首先在计算机模拟中开发并训练了两个深度RL技能集——从地上站起来的能力，以及如何在未经训练的对手面前进球。从那时起，他们虚拟地训练他们的系统，通过结合这些技能集来进行完整的一对一足球比赛，然后随机将它们与部分训练过的自己的副本配对。

[相关：谷歌DeepMind的人工智能预测优于“黄金标准”模型。]

“因此，在第二阶段，智能体学会了结合以前学到的技能，将它们完善到完整的足球任务中，并预测和预测对手的行为，”研究人员在他们的论文导言中写道，后来指出，“在比赛过程中，智能体在所有这些行为之间流畅地转换。”

得益于深度RL框架，DeepMind驱动的智能体很快学会了改进现有能力，包括如何踢和射足球、盖帽，甚至用身体作为盾牌来抵御进攻对手。

在一系列使用深度RL训练的机器人进行的一对一比赛中，两名机械运动员走路、转身、踢腿和站立的速度比工程师简单地向他们提供脚本化的技能基线要快。这些也不是微小的改进——与不可适应的脚本基线相比，机器人走路速度快了181%，转身速度快了302%，踢腿速度快了34%，跌倒后站起来的时间减少了63%。此外，深度RL训练的机器人还表现出了新的紧急行为，如双脚旋转和旋转。否则，这些动作将极具挑战性。

在DeepMind驱动的机器人进入机器人世界杯之前，还有一些工作要做。在这些最初的测试中，研究人员完全依赖基于模拟的深度RL训练，然后将这些信息传递给物理机器人。未来，工程师希望为他们的机器人结合虚拟和实时强化训练。他们还希望扩大他们的机器人，但这需要更多的实验和微调。

该团队认为，在足球以及许多其他任务中使用类似的深度RL方法，可以进一步提高双足机器人的运动和实时适应能力。尽管如此，你现在还不太可能需要担心DeepMind人形机器人在全尺寸足球场上或劳动力市场上的表现。与此同时，考虑到它们的持续改进，准备好揭发它们可能不是一个坏主意。