加利福尼亚大学研究报告：让AI自我怀疑以防人类

专家称，人工应该被赋予自我怀疑的属性，并有必要让机器人寻求人类肯定，以防人类被机器人推翻。

随着真正的人工智能的发展，专家们朝着奇点（机器将变得比人类更聪明）不断靠拢，研究人员正在研究如何确保人类在未来仍然是在地球的顶端。许多专家警告说，开发和我们一样有能力的机器会带来危险，因为它可能会让人类失业，并最终将我们视为阻碍，把我们从地球上抹去。

为了应对这一威胁，科学家们提出了可以对应的措施，其中一个思路是，开发人员应该给人工智能装上自我怀疑的能力。这个想法认为，如果人工智能会去怀疑他们自己，它就需要从人类那里寻求安慰，就像狗一样。这样就能巩固我们作为地球统治阶层的地位。

来自加利福尼亚大学的一个小组的研究结果显示，自我怀疑的机器人更听话。该研究小组在一篇发表在arXiv的论文中写道“很明显，用来降低AI系统行为不当风险的措施之一，是设计人类关闭系统的功能。随着人工智能系统的能力不断提高，应确保此类系统不会产生与人类关闭系统起冲突的子目标。我们的研究目的是发现人工智能允许自己被关闭的动机是什么。在一个模拟实验中，一个机器人的“大脑”被人为关闭了，他能够自动重启。没有自我怀疑属性的机器人重新启动，但拥有该属性的机器人因它不确定结果是否违背人类的意愿而并未重启。”

该团队道我们的分析表明，那些对其自身功能不明的人工智能，他们有动机去接受或寻求人类的监督。，开发对其本身功能不明确的系统，是设计研究安全人工智能系统方向一个很有前景的领域。