AI 大模型的语言不平等 英语最便宜 其它语言要贵得多

语言差异对大型语言模型（LLM）的费用产生了显著影响，这可能会在人工智能领域中造成英语使用者与其他语言使用者之间的鸿沟。最近的研究表明，由于服务器成本的衡量和计费方式，英语输入和输出的费用相较于其他语言显著偏低。

以OpenAI等服务为例，其计费模式揭示了不同语言的费用差异。简体中文的费用大约是英语的两倍，而西班牙语则是英语的1.5倍。更令人震惊的是，缅甸的掸语费用竟高达英语的15倍。

IT之家注意到，推特用户Dylan Patel分享了一项由牛津大学进行的研究。该研究指出，处理一句缅甸语句子的计算成本远超英语句子。词元代表了通过API访问LLM所需的计算力成本，而这个成本在处理非英语句子时显著上升。例如，一个缅甸语句子可能需要高达198个词元，而同样的句子用英语表达仅需17个词元。这意味着使用类似OpenAI的服务处理缅甸语句子的成本是英语句子的近11倍。

这种差异源于词元化模型——人工智能公司将用户输入转换为计算成本的方式。除了英语外，其他语言的词元化率显著更高。这是因为像中文这样的语言具有不同的语法和更复杂的字符结构。例如，一句包含四个字符的简体中文文本（“你的爱意”）可能需要八个词元，而一句包含14个字符的英文短语却只需要两个词元。这种差异导致了非英语使用者在使用人工智能服务时面临更高的成本负担。