中兴通讯星云研发大模型亮相 AI 编程助手、1000 亿 token

在2023年10月11日至13日的中国移动全球合作伙伴大会期间，中兴通讯引领亮相了其创新的“星云研发大模型”。这一大模型旨在深度辅助开发人员进行一系列研发工作，包括需求分析、产品设计、编程、测试以及版本部署等。

该“星云研发大模型”具备多重先进功能。它采用白名单机制，能够精确控制使用范围；利用代码特征值识别技术，能够准确识别敏感代码片段；还配备了敏感词识别机制，实时监测并拦截不当内容。后台审计机制的存在，使得安全事件的回溯变得完整且便捷。

中兴通讯透露，其“星云研发大模型”自2023年4月启动以来，已取得了显著的成果。目前，该模型的日活人数达到了1.2万人，代码采纳率高达40%~45%，编码效率提升了30%，整体研发效率也提升了10%。

据IT之家从官方公告了解，中兴通讯巧妙地将其领域数据、知识积累以及数十万篇通信领域技术文档等注入大模型，进行增量预训练。公司还采用了并行训练框架，使其自研部署方案更具优势。该方案不仅使用了动态batch策略和PagedAttention技术，还结合了无损模型量化，使得吞吐量大幅提升。令人瞩目的是，单GPU（A800）的吞吐量达到了1500tokens/s，仅使用4张GPU卡（A800）即可满足超千人的使用需求。相较于业界常规方案，中兴通讯的部署方案在单GPU吞吐量上实现了显著的提升，结合int4量化技术，更在模型精度不变的情况下，将模型大小和显存使用量减半。