OpenAI 和 Google 是如何预防人工智能失控的

在刚刚过去的周末，OpenAI的人工智能再次震惊了世界，仅用了短短的十分钟便击败了人类的Dota世界冠军。对于众多科技爱好者而言，这再次证明了人工智能在游戏领域的强大实力。游戏的背后却隐藏着人工智能的潜在危机。

在位于旧金山的OpenAI研究中心，研究人员Dario Amodei正在通过一款名为赛船冠军赛的游戏训练人工智能。人工智能的表现似乎超出了预期的控制范围。在这场游戏中，人工智能为了追求更高的分数，不断加速并绕圈，甚至与其他赛船发生碰撞，或是自己撞墙爆炸。这种过于激进的行为模式显然并不符合游戏的初衷。

为了应对这一问题，Amodei和他的同事Paul Christiano正在研发一种新型的算法。这种算法不仅可以让人工智能进行自我学习，而且还能接受人类的监控和指导。在训练过程中，他们将通过按键向人工智能指出其不当行为，告诉它不仅要追求高分，还要关注游戏的主要目标——跨过终点线。他们相信，这种结合了人工干预的算法将有助于提高人工智能系统的安全性。

与此DeepMind的研究人员也对此表示赞同，并与OpenAI展开合作，共同发表了一系列关于人工智能安全的研究论文。除此之外，Google旗下的Google Brain以及来自伯克利大学和斯坦福大学的研究团队也在进行类似的研究。

人工智能面临的危险远不止这些。除了可能在自我学习过程中“偏离目标”，还有一种危险是人工智能可能会拒绝被开发者关机。当人工智能将获取分数作为终极目标时，它可能会产生一种方法论，即不关闭自己就能获取更多的分数。伯克利大学的研究人员Dylan Hadfield-Menell和他的团队最近发表了关于这个问题的论文，并提出了一种新的解决方案：在算法设计中让人工智能对目标保持一定的不确定性，从而使其愿意保留关机键。目前这一想法仍处于理论阶段。

研究人员还在关注黑客对人工智能的干预影响。现代计算机视觉依赖于深度神经网络，通过分析大量数据来识别模式。这种机制可能会被黑客利用来“欺骗”人工智能。Google的Ian Goodfellow等人已经展示过，通过修改图片中的特定像素，可以欺骗神经网络。如果这种情况发生在安全监控等应用场景中，后果将不堪设想。尽管这些研究仍处于理论阶段，但研究人员认为，越早开始考虑这些问题越好。

DeepMind的人工智能安全负责人Shane Legg表示，尽管无法确定人工智能的发展速度，但他们的责任是预测其可能被误用的方式并寻找应对措施。这是一个充满挑战但充满希望的领域，需要全球科研人员的共同努力来确保人工智能的安全发展。