当人类被机器人问倒，是一种怎么样的体验？国外研究这样说

近年来，研究人员一直在探索如何赋能机器人学习新技能的神奇能力。一种常见的方法就是让机器人从人类那里学习，并在遇到不确定时，从人类用户的反馈中学习。现在，斯坦福大学的研究团队带来了更进一步的发现：通过一种新颖的用户友好型主动奖励学习方法，机器人可以通过提问的方式从人类用户那里获取智慧。

这种新方法，已在arXiv上的一篇前沿论文中得以预发表。它赋予了机器人主动提出问题的能力，这些问题对人类用户来说既容易回答，又能促进机器人的学习进程。想象一下，机器人不再只是执行命令，而是能够主动思考并提出有意义的问题。

研究人员分享了他们对于机器人如何理解人类意图的深层次思考：“我们的团队关心的是，机器人如何学习人类真正想要的东西。”他们提出了一个直观的学习例子：在驾驶场景中，机器人会提问：“你希望我更谨慎驾驶还是更主动地驾驶自动驾驶汽车？我应该在普通驾驶的汽车之前还是之后开始行驶？”这种学习方式背后的核心理念是，理想的机器人应该能够提出富有洞察力的问题，从而从人类用户那里获取尽可能多的信息。换句话说，高级机器人应该通过提出尽可能少的问题来深刻理解人类的需求或期望。

现有的基于问题回答的培训方法往往忽略了人类用户回答机器人问题的难易程度。这常常导致用户浪费时间为机器人回答大量不必要的问题或不确定的问题。研究人员发现：“大多数最先进的算法提出的问题，对人类来说过于接近而无法明确回答。”例如，机器人可能会问：“你希望我以每小时29英里还是31英里的速度行驶？”这样的问题对于人类来说太过模糊，难以给出明确的答案。

为了克服这些局限性，研究人员开发了一种先进的算法，让机器人能够提出更有针对性、更有效率的问题。这种算法旨在最大限度地减少机器人对人类用户偏好的不确定性，同时考虑到人类用户回答这些问题的难易程度。研究人员强调：“我们专注于考虑机器人提出问题时，人类实际回答的能力。”这种方法的核心理念是，只有那些能够精准理解人类需求的机器人，才能真正高效地学习。

为了实现这一目标，研究人员利用信息增益的概念来指导机器人的提问。他们通过计算熵的减少（即不确定性的度量）来量化信息增益，这反映了机器人问题对人类用户偏好的影响。换句话说，那些能够最大化信息增益的问题将最大程度地减少机器人对人类用户偏好的不确定性。这为机器人提供了一个明确的目标，让它们可以选择最有用的问题进行提问。

研究人员进一步解释：“信息增益的一个优点是，它内在地最大化机器人的不确定性（这样它们可以从问题中学到更多），同时最小化人类的不确定性（这样问题对人类来说更容易回答）。”通过使用信息增益来生成问题，可以提高主动学习的效率，因为不仅问题是信息丰富的，而且人类提供的答案也减少了错误的反应。

研究人员设计了一种方法，让机器人在每个时间点上都能选择出能最大化信息增益的问题。本质上，机器人会根据与之交互的用户的偏好来维护一种信念（即概率分布），并从这种信念和可能的问题空间中进行选择。最终，机器人会选择那些在当前可能的人类偏好分布中提供最大信息增益的问题。然后，根据用户的答案来更新自己的认知。这个过程不断重复进行，使机器人逐渐了解用户的偏好并提高其性能。在这个过程中，“图片”来源被标注为来自Bıyık等的研究团队所贡献的成果。研究人员表示：“我们的方法快速发现了人类对真实机器人任务的偏好。”通过与现有最先进方法的比较研究，他们发现用户更喜欢他们的方法。斯坦福大学的团队还展示了他们的方法在计算复杂性方面与其他最先进的方法相当。换句话说，与其他方法相比生成这些问题并不困难。最终的结果是机器人选择的问题能够最大限度地提供信息收益并更新对用户的认知以便提高机器人的性能来更好地服务人类的需求与偏好研究者还进一步探讨了此方法的一些理想数学特性例如亚模量这些特性使得研究者能够将先前的方法的理论界限应用于当前的方法从而实现更高效的查询策略并推动机器人的进一步发展此外该研究团队还通过一系列模拟评估了他们的主动奖励学习方法发现该方法使机器人能够快速准确地掌握人类的喜好即使是在面对难题或是“我不知道”的回答时亦是如此这一研究为人工智能领域的发展带来了革命性的突破让我们共同期待未来的智能机器人在学习和理解人类需求方面取得更大的进步并为我们带来更多的便利与惊喜！为了探索机器人对人类偏好的理解能力，研究人员开展了一项深入的用户研究。他们邀请人类参与者回答由他们最新方法生成的问题，以及与使用其他前沿技术所产生的问题进行对比。从收集的宝贵反馈中，研究人员发现参与者普遍认为他们设计的问题更加易于回答，而且采用新方法的机器人能更好地捕捉和表达人类的偏好。

研究人员欣喜地表示：“我们的研究取得了显著的进展，朝着让机器人理解人类偏好迈出了重要的一步。”他们进一步强调，已经实现了机器人提出问题以获取尽可能多的信息这一目标，而且这一切都在保持与现有方法相同计算复杂性的前提下实现。

展望未来，该团队开发的主动奖励学习技术有望更高效地训练机器人，使其行为更加贴合用户的喜好。这项技术还能教导机器人提出人类易于理解并回答的问题。未来，研究人员还计划探索如何训练机器人对其行为做出有用的解释。

研究人员满怀憧憬地说：“我们对机器人的未来充满期待，它们不仅将擅长提出优质问题，而且还能解释为何提出这些问题。我们可以设想一个场景：一辆自动驾驶汽车将人类的两种不同交通方案进行可视化呈现，并解释它之所以征求人类意见，是因为在交通高峰期，它需要确定最合适的驾驶策略。”这样的未来，无疑将为人类与机器人的交流带来前所未有的便利与深度。