专给 ChatGPT找茬 OpenAI 训练 CriticGPT 模型以检索输出内容错误

在最近的一次公告中，OpenAI 于当地时间27日宣布了一项重大进展：他们基于GPT-4构建了一个名为CriticGPT的新模型。这款模型犹如一位敏锐的评论家，专门用于挑剔ChatGPT聊天机器人的输出内容，将其中的错误一一找出。它不仅能够撰写评论，更能够强调ChatGPT在生成答案中的疏漏之处。

据介绍，CriticGPT的设计初衷是为了协助人类AI训练师更好地完成工作。通过使用一种名为“从人类反馈中强化学习”（Reinforcement Learning from Human Feedback，简称RLHF）的技术，它在训练和改进GPT-4的回答方面表现出色。

随着ChatGPT准确性的不断提升，错误也变得越来越隐蔽，使得AI训练师的工作颇具挑战性。对此，OpenAI解释道，这是RLHF技术的基本局限之一。当模型逐渐变得比任何提供反馈的人都更为渊博时，模型的协调也可能变得越来越困难。

此刻，当CriticGPT试图从ChatGPT的回答中侦测错误时，其敏锐的“鹰眼”便会大显身手。OpenAI指出，现实世界的错误可能散布在答案的各个部分，这是CriticGPT未来需要应对的挑战。尽管目前他们的重点是能够在一处指出错误，但长远来看，解决分散的错误也是必须的。

未来，我们期待CriticGPT能够不断发展，以应对更为复杂的挑战。它的出现不仅将提升ChatGPT的性能，也将为人工智能领域带来新的突破和可能性。