科学家利用强化学习培训四足机器人守门员

有些机器人面临的挑战具有明确的应用背景，而有些则需要机器人系统灵活适应不同场景的变化。其中，教授小型机器人踢足球则属于后者。最近，一篇引人入胜的论文揭示了如何使用强化学习让麻省理工学院的Mini Cheetah机器人胜任守门员的角色的细节。

以四足机器人为例的足球守门是一项极富挑战的任务。这需要结合高度动态的移动和精确、迅速的非抓握物体（即足球）操作技巧。机器人必须在极短的时间内——通常不到一秒——做出反应，通过动态动作对快速飞行的足球进行拦截。

在这篇精心撰写的论文中，研究者们提出了一种分层的无模型强化学习框架来解决这一问题。对于Mini Cheetah机器人来说，它的任务是在瞬间锁定足球，并在极短的时间内自行移动以阻挡足球的进攻。

机器人的相关参数在模拟器中进行了详尽的定义。Mini Cheetah机器人依靠三种关键动作——回避、俯冲和跳跃——通过精确计算运动轨迹来阻止足球破门。每一个动作都需要机器人进行精确的控制和快速的反应，以确保在瞬息万变的足球比赛中立于不败之地。