新型AI系统 能教会机器人自动走路

随着人工智能技术的飞速发展，机器人已经具备了像人类一样灵巧地掌握和操纵物体的能力。最近，国外的研究人员宣布，他们开发出了一种全新的算法，有望让机器人学会自主行走。

在名为“通过强化学习走路”的论文中，来自加州大学伯克利分校和谷歌人工智能研究部门Brain的科学家展示了一种人工智能系统。这个系统能够“教会”一个四肢机器人穿越各种熟悉或陌生的地形。这项技术的核心在于强化学习的应用，它能够实现感官输入信息到低级动作的自动映射，从而实现对策略的端到端学习。

该论文指出，通过强化学习，可以自动获取一系列机器人任务的控制器。如果在现实世界中直接学习移动步态，就有可能为每个机器人甚至不同的地形获得最适合的控制器，从而实现更高的灵活性和效率。

这项设计面临两大挑战。强化学习需要大量的数据才能取得良好的结果，有时需要数万个样本。确定其结构的参数通常需要多次训练，这可能会对机器人造成损害。论文作者表示，尽管强化学习在仿真环境中学习运动策略具有很高的潜力，但在现实世界的机器人中应用仍然面临挑战。仿真和现实的差异可能会导致性能损失，需要大量的手工建模。

为了克服这些问题，研究人员采取了一种名为“最大熵RL”的强化学习框架。最大熵RL优化了学习策略，使期望收益和期望熵（即被处理数据的随机性度量）同时达到最大值。通过激励政策进行更广泛的，最大熵RL帮助机器人在不依赖模拟训练的情况下学习运动技能。

尽管存在挑战，但这种方法的潜力在实验中得到了证明。在一个开源模拟环境OpenAI进行的测试中，研究人员的模型在四个连续运动任务中实现了出色的性能。在真实世界的测试中，他们的模型被应用到一个四足微型机器人上，该机器人在没有任何预先训练的情况下成功学会了行走，能够穿越木块等障碍物，爬上斜坡和台阶。

研究人员表示，这是强化学习算法的首个例子，可以在没有任何模拟或训练的情况下，直接在现实世界中学习驱动力不足的四足运动。这项技术的进一步发展可能会为机器人在复杂环境中的自主行动能力带来革命性的进步。随着机器人技术的不断进步，未来我们可能会看到更多智能机器人在各个领域发挥重要作用。