塔夫茨大学教授：为了机器人好，应教它学会说

思考一下，我们日常生活中所做的那些轻率之举，如果我们不假思索地要求机器人照做，后果可能会是一团乱麻。

做人要有原则，不义之事即使被要求也不能做。那么，当这个情境转移到机器人身上时又该如何呢？它们是否必须无条件服从人类的命令？大多数人可能会直觉地认为，机器人就应该服从命令，因为它们是机器，设计之初就是为了执行人类指令的。回想一下我们平时轻率的行为，如果我们不假思索地要求机器人盲目执行，可能会引发诸多不必要的混乱。

下面，我们来几个实际例子：

1. 假如家中有一位专门照顾老年人的智能辅助机器人，患健忘症的老人可能会让机器人执行许多重复的无意义的动作，比如一天之内反复洗一件衣服多次。

2. 家中的孩子可能会把机器人当作玩具，命令它做出危险行为，比如往窗外扔东西。

3. 学生可能会将作业任务完全交给机器人完成。

4. 家政机器人在烹饪过程中可能会被要求去处理其他不相关的事务。

这些例子中的情况可能会导致我们自己陷入混乱。最严重的后果可能是，如果坏人利用机器人犯罪，后果将不堪设想。

那么，人类该如何避免因机器人的盲目服从命令而带来的麻烦呢？当别有用心的人命令机器人执行危险行为时，应该怎么办？一种可能的解决方案是，机器人能够预知自己行为的可能后果并自主决定是否执行命令。那么，我们如何训练机器人学会说“不”呢？

机器人是如何知道下一步会发生什么的呢？在实验室中，我们正在开发一种新的基于人类命令的机器人控制系统。通过这个系统，机器人可以决定是否执行人类的命令（如果命令违反道德原则则可以拒绝）。教授机器人拒绝执行命令并非易事，因为许多行为的后果并非一目了然。例如，扔球出窗外可能落在院子里或大街上，可能的后果谁也难以预测。

当前的技术挑战在于，机器人难以判断何时应该拒绝执行命令。如果孩子们故意欺骗机器人，假装玩接球游戏却故意躲避，事情就可能朝着相反的方向发展。教授机器人道德和法律是至关重要的。要让机器人理解自己的行为可能带来的危险后果，就需要它掌握大量的背景知识。机器人还需要能够衡量人类指令的意图和行为后果。要做到这一点，机器人必须了解社会道德和法律的基本原则并将其应用于实际情境中。在管理机器人方面我们需要一个通用原则：“如果所要求的任务可能会造成危害则可以拒绝执行。”然而这只是一个简单的描述远远不够我们需要为机器人制定详细的责任和权限范围。最重要的是机器人应该有权利说“不”这是基本原则之一。机器人的“大脑”必须包含法律、道德甚至人类礼仪这样才能使其能够聪明地拒绝错误的指令。虽然目前的技术还难以实现这一目标但我们应当从现在开始就确立这个基调即机器人有权拒绝不合适的命令。只有这样我们才能确保机器人的发展不会带来不必要的混乱和危险。