MIT搞了个进取型机器人 能研究学习对象操纵的基础

麻省理工学院的研究团队近期发布了一个名为“Omnipush”的数据集，该数据集详尽记录了推动数百个不同机器人系统的行为表现。该数据集是同类中规模最大、种类最丰富的，研究人员利用它训练机器人学习推动动力学，这对于完成许多复杂的物体操作任务至关重要，包括重新定位、检查物体以及整理场景。

为了获取这些数据，研究团队设计了一个自动化系统。这个系统配备了工业机械手，拥有精确的控制能力，同时集成了3D运动跟踪系统、深度和传统相机以及一套软件，将所有数据无缝连接。手臂推动的模块化物体具有可调整的重量、形状和质量分布。每一次推动，系统都会捕捉这些特性如何影响机器人的推动行为。

这个Omnipush数据集中包含了推动250个不同物体的数据，总计大约62,500次独特的推动。例如，研究人员已经开始使用这个数据集来构建模型，帮助机器人预测物体被推后的落地位置。该数据集的丰富程度使得研究人员能够深入探索机器人的推动行为在各种条件下的表现。

机械工程系的研究生Maria Bauza表示：“我们需要大量且多样的数据来训练我们的机器人。”智能机器人的学习离不开数据集的支撑，尤其是真实的机器人系统的数据。而Omnipush数据集的对象数量足够多，能够捕捉到丰富的推动现象，对于帮助机器人理解推动的工作原理并将其应用于类似现实世界的物体至关重要。

Omnipush数据集建立在先前类似数据集的基础上，该数据集仅捕获了十个对象的推动数据。研究人员在公开数据集后收到了反馈，其中一条反馈是缺乏对象多样性。对于新的数据集，研究人员使用工业机器人手臂精确控制推进器的速度和位置。当手臂推动物体时，他们使用运动跟踪系统和RGB-D摄像机来记录物体的动态和深度信息。这些图像和视频对于计算机视觉和视频预测等任务非常重要。

研究的关键在于构建模块化对象。这些对象由铝制成，形状各异且重量可调。每个中心部分都包含标记，以便运动跟踪系统可以精确地检测其位置和运动状态。通过改变模块的排列组合，研究者创造了大量的不同物体进行推动实验，从形状到重量分布的不同组合生成了250个唯一对象。每一次推动都是随机进行的，旨在获取多样化的数据用于模型训练。这些对象的设计旨在模拟现实世界中物体的运动学特性，从而帮助机器人更好地理解和适应真实世界中的操作任务。推动未来：机器人的新掌握技巧

想象一下推动桌子的场景，其中一条腿承载着远超其他腿的重量，导致桌子在推动时围绕重腿旋转。为了有效推动，必须不断调整策略。对此类质量分布不均及其影响的理解，正是机器人可以通过学习Omnipush对象来掌握的技能。

在最新研究中，机器人技术取得了突破性进展。研究人员利用Omnipush训练了一个模型，该模型能够预测被推物体的最终姿态，仅通过初始姿态和描述信息即可实现。这些实验涉及在多达150个不同的Omnipush物体上进行训练并测试其伸出部分。令人振奋的结果是，基于Omnipush训练的模型预测精度，是在其他类似数据集上训练的模型的两倍。研究团队也在其论文中详细记录了其他研究者可用来比较的精准度基准。

由于Omnipush能够捕获推送物体的视频，因此其一个潜在应用便是视频预测。例如，一个合作团队正在使用该数据集训练机器人，使其能够“想象”在两点之间推动物体。在Omnipush的训练下，机器人获得两个视频帧作为输入，展示对象的起始和结束位置。机器人利用起始帧预测所有未来的视频帧，以确保对象精确到达其目的地。随后，它会根据每个预测视频帧的方式推动对象，直至达到目标位置。想象一下这一过程就像一个智能导航程序，机器人不断地根据实时的预测调整路径。

机器人如何做出决策？“它会基于实际情况自问，”如果我执行这个动作，物体将在哪一帧到达什么位置？“然后，机器人会选择最可能使物体精确到达目标位置的动作，”鲍萨解释道，“它通过观察按下后像素如何变化来决策如何移动物体。”这正是通过想象并预测物体的移动轨迹来实现的。

卡内基梅隆大学的计算机科学与机器人学教授Matthew T. Mason对此表示赞赏：“Omnipush包含了关于物体运动的精确测量和视觉数据，这对于机器人与物体间的交互至关重要。”他认为，这些数据能够为机器人研究人员提供丰富的资源，推动新的机器人学习方法的开发测试。“这将开启机器人操作技术的新篇章。”未来的机器人技术将带给我们更多惊喜和可能性。