AI 胡编乱造怎么办，OpenAI 称找到解决“幻觉”方法

《AI前哨》报道，北京时间6月1日，OpenAI发布了一篇最新研究论文，揭示了解决人工智能（AI）“幻觉”难题的新途径。所谓的AI幻觉，是指聊天机器人有时会生成并不真实的信息来回应用户。

像ChatGPT和谷歌的巴德这类先进的聊天机器人，虽然大部分时间都在提供准确的信息，但它们偶尔也会出现完全捏造信息的情况，表现得仿佛它们正在真实陈述事实。比如，在谷歌为巴德制作的宣传视频中，这个聊天机器人对詹姆斯・韦伯太空望远镜做出了不准确的描述。甚至最近ChatGPT在纽约联邦法院的一份文件里引用的案例也被质疑为“虚假”，导致纽约的律师可能面临制裁。

OpenAI的研究人员在报告中指出，即使是目前最先进的AI模型也有生成虚假信息的风险，特别是在需要进行多步骤推理的场景中，一个逻辑错误就可能导致整个解决方案的崩溃。为了解决这一问题，OpenAI提出了一种新的策略：训练AI模型在推理的每个正确步骤上获得自我奖励，而不仅仅是最后得出正确结论时才给予奖励。这种策略被称为“过程监督”，与传统的“结果监督”形成对比。研究人员认为，这种方法有助于开发更可解释、更人性化的AI模型，因为它们会按照更加接近人类思考的方式进行推理。

OpenAI数学论文生成器研究员卡尔・科布在接受采访时表示，虽然该公司并非首创过程监督方法，但他们正在积极推动这一领域的发展。他进一步指出，发布这个研究论文以及附带的数据集是为了解决AI幻觉问题，以便让AI模型在解决具有挑战性的推理问题方面变得更加强大。科布提到，OpenAI已经发布了一个庞大的数据集，其中包含80万个人类标注的数据用于训练研究论文中介绍的模型。关于此研究的后续进展，《AI前哨》将持续关注并报道。