大语言模型规模已接近极限 并非越大越好

在春意盎然的四月十六日，OpenAI的联合创始人兼首席执行官萨姆·奥尔特曼（Sam Altman）在麻省理工学院的一次名为“想象力行动”的活动中接受了访谈。这次访谈围绕大语言模型（LLM）的发展趋势以及安全问题展开，揭示了奥尔特曼对于这一领域的深刻见解。

奥尔特曼认为，我们正在逐渐接近LLM规模的极限。他强调，规模的大小并不再是评判模型质量的关键指标。正如他所说，追求更大的规模有时可能只是为了一个数字而已，而真正的价值在于模型的实际能力和效果。他将LLM的规模竞赛比作是过去芯片速度的竞赛，并指出今天人们更关心的是芯片能否出色地完成任务，而非它们运行得有多快。对于OpenAI而言，他们的目标是为世界提供最有能力、最有用和最安全的模型，而非仅仅追求参数的数量。

在接受访谈时，奥尔特曼也回应了一封要求OpenAI暂停开发更强大AI六个月的公开信。他表示赞同随着AI的能力越来越强大，安全标准也需要相应提高的观点。但他认为这封信缺乏具体的技术细节和准确性。OpenAI在推出GPT-4之前，已经花费了超过六个月的时间来研究模型的安全问题，并且邀请了外部审计和“红队”对模型进行测试。他提到：“我们认同安全问题的严重性，但在解决这些问题的过程中，公开信中所提及的技术细微差别被忽视了。”

奥尔特曼进一步表示，OpenAI已经在这个领域耕耘了七年，付出了巨大的努力。他愿意公开讨论模型的局限性和安全问题，因为在他看来这是正确的做法。他也坦诚地承认，有时候他和其他公司代表可能会说出一些后来证明是错误的“蠢话”，但他愿意承受这种风险，因为这项技术需要不断的交流和探讨。他的开放态度和真诚表达赢得了在场观众的热烈掌声。