Meta 发布 Megabyte AI 模型抗衡 Transformer 解决后者已知问题、速度提升 4 成

近日，Meta团队推出了一款名为Megabyte的新型AI模型，其设计理念旨在革新现有的自然语言处理机制。相较于传统而颇受欢迎的Transformer模型，Megabyte带来了革命性的改进与创新，特别是在速度方面提升了惊人的40%。对于技术细节和模型的独特优势，IT之家报道】于5月30日为我们带来了详细解读。

▲图源Arxiv

Transformer模型虽然广泛运用于自然语言处理等多个领域，但受限于自身的运作机制，存在着不少问题。它按照序列的每一步逐步处理数据，无法并行化处理，导致训练速度较慢。处理长序列时，梯度容易在反向传播过程中消失或爆炸，造成模型的稳定性问题。由于其每一步都需要保留历史信息，因此内存消耗较大。Megabyte模型为我们带来了全新的解决方案。

Megabyte模型的核心创新在于将输入和输出序列划分为称为patch的小块，而不是像Transformer那样以单个token处理。这种创新的设计模式使得字符级别的预测变得更为简便。例如，我们可以根据前几个字符预测出完整的单词。这种处理方式不仅让大型网络中的字符处理更为高效，而且允许内部预测使用更小规模的模型进行。这不仅提升了计算效率，同时也解决了当前AI模型所面临的训练速度、稳定性和硬件占用比等挑战。

值得一提的是，在计算效率方面，Megabyte模型展现出显著的优势。相较于同等规模的Transformer和Linear Transformer模型，Megabyte在固定模型大小和序列长度范围内使用的token数量更少。这意味着在相同的计算成本下，Megabyte可以训练出内容更丰富、体积更大、性能更好的模型。对于期待更高效、更稳定AI模型的科研人员和开发者来说，这无疑是一个令人振奋的消息。目前Meta团队已经公开了关于Megabyte模型的论文，感兴趣的读者可以前往查阅了解更多细节。