未来技术人工智能算力网络面世：多模态的最佳伴行者？

一幅美丽的街拍中，展现了一个优雅的女人，她撑着红色的雨伞悠闲地走在路上。雨水滴答滴答地落在伞面上，像是一首优美的交响曲。这张照片仿佛让人们感受到江南水乡的韵味，雨滴与伞面的碰撞，带来一种别样的宁静与和谐。

上传图片后，一段飞机起飞时发动机呼啸的音频随之响起，仿佛让人置身于机场，感受到飞机翱翔时的激动心情。这就是多模态AI应用带来的魅力，将文字、图像、语音等不同的信息形式结合起来，为人们带来更加丰富、生动的体验。

再配上淅淅沥沥的下雨声，江南水乡老宅的雨景图展现在眼前。这些声音与画面完美融合，仿佛让人们穿越时空，置身于那个烟雨蒙蒙的江南水乡。这些多模态AI应用，不仅更加智能、自然、多样化，也让人们在使用时感受到更多的情感共鸣。

一直以来，多模态的发展速度虽然不算快，但现如今，事情正在发生翻天覆地的变化。未来的多模态AI应用将会更加广泛，更加深入人们的生活。它们将不仅仅局限于娱乐领域，还将应用于教育、医疗、交通等各个领域，为人们的生活带来更多的便利和乐趣。在华为全联接2021大会上，中国科学技术信息研究所、AITISA（新一代人工智能产业技术创新战略联盟）以及鹏城实验室共同发布了备受瞩目的《人工智能计算中心发展白皮书2.0——从人工智能计算中心走向人工智能算力网络》。这份白皮书的核心观点明确指向了“大算力+大数据”对于推动大模型发展的重要性。多模态多样化的能力通常只有通过大模型才能得到充分实现，而多模态的形式也往往表现为大模型的特点。

会上，中国科学院自动化研究所更是引领潮流，发布了全球首个三模态大模型——紫东.太初。这一重要成果的发布，无疑标志着多模态发展已经进入了一个崭新的阶段。此刻的多模态大模型不再是孤立的存在，而是与人工智能算力网络紧密融合，相互促进。可以说，多模态大模型与人工智能算力网络已经成为了彼此的最佳伙伴，共同推动着人工智能技术的持续发展与进步。随着AI技术和产业的深入发展，多模态大模型已成为不可逆转的趋势。这一趋势的明朗主要表现在三个方面。

这是AI自身能力进化的必然要求。在单模态领域，如跨语种翻译等应用，机器已经超越了人类，实现了重大的技术和产业价值。要进一步推动AI技术和产业的发展，多模态成为新的突破方向。单模态本身也面临着“知识冰山”的瓶颈问题，需要大模型的支撑来实现更高级的智能化。

随着数据种类的不断增加，为了更准确地理解和应用这些数据，多模态大模型的需求也日益迫切。例如，在处理“老王去吃食堂”这样的语境时，单纯的文字数据很难让AI理解“吃食堂”的真正含义。而一张场景图片或视频则可以很容易地解释清楚，并关联起相关的语境。这对于AI在实际应用中的表现至关重要。

多模态大模型也是应对复杂现实场景和满足用户需求多样性的重要手段。随着应用场景的多样化，用户需求的多样性也在不断增加。多模态大模型可以通过融合不同模态的数据，更全面地捕捉用户需求和意图，从而提供更精准、个性化的服务。多模态大模型也可以提高系统的鲁棒性和适应性，更好地应对复杂现实场景中的各种变化和挑战。

接着，我们要探讨的是“数据”的供给问题。在AI的发展过程中，数据是其成长的根本，犹如AI的“食物”。在全球的范围内，包括繁华的中国市场，互联网的兴起为AI模型训练提供了日益庞大的数据量，犹如为AI注入了源源不断的能量。

当前互联网上的音视频数据呈现出爆炸性的增长，其占比已经超过了80%，而单一数据类型如文本则占比不多。这种情况导致更为丰富的语音、图像、视频等数据并未得到充分的利用和学习。为了更深度、更广泛地挖掘这些数据的价值，我们需要采用多模态的方式。反过来，大量的、各种属性的数据投喂也将推动AI摆脱单一模态的限制，朝着多模态大模型不断迈进。

再说到产业需求的倒逼，随着AI技术的逐渐落地，产业对其的需求也在向更深层次发展。越来越多的场景应用需要多模态大模型的支持，比如跨模态检索、智能问答、文学艺术创作、视频配音、视频摘要等。这些应用场景需要AI具备更加复杂和全面的能力，这也反过来推动了AI技术向多模态大模型的方向发展。

《算力、框架、技术积累：紫东太初多模态大模型的崛起之路》

紫东太初的多模态大模型是如何诞生的呢？这背后有三大关键因素，每一个都扮演着至关重要的角色。

人工智能算力网络成为这场技术革新的强大引擎。多模态大模型的特点在于其参数规模呈现惊人的指数级增长，而这背后离不开算力的支撑。想象一下，庞大的数据海洋需要强大的船只才能航行，而这艘船就是我们的算力。正是有了它，我们才能在这片广阔的海洋中探索并发现新的知识。

框架的作用也不可忽视。如同建筑的地基，框架为整个模型提供了稳定的基础。没有稳固的框架，再先进的技术也只是空中楼阁。紫东太初的多模态大模型之所以能成功落地，正是因为其背后有着强大的框架支撑。

技术积累是这一切的基石。任何伟大的成就都不是一蹴而就的，背后是无数日夜的积累和努力。紫东太初的成功，也是基于长时间的技术积累和创新。

这三者相互关联，相互依存，共同促成了多模态大模型的加速落地。可以预见，随着技术的不断进步和发展，多模态大模型将在更多领域得到应用，为人类带来更多的惊喜和便利。在过去的时代，AI模型主要是通过单一类型的数据进行“喂养”，以获取知识并迭代其能力。那时候，模型并不需要过多的参数，就像小学生掌握基本的数学规则一样，只要理解简单的加减乘除即可。

随着不同模态的加入，AI模型面临了更大的挑战。一个能够识别图像、文字和语音的通用算法，不仅需要理解各种单一模态的数据，还需要把握不同数据之间极端复杂的联系。这就好比一个专业的大学理工科学生，需要综合各种学科知识进行复杂的运算。模型的参数也开始膨胀。

显然，这时候算力成为了最基本的支撑。只有超大规模的算力，才能支撑大模型的训练，让多模态应用达到更好的效果。这就像是一场马拉松，需要足够的体力和耐力才能到达终点。

事实上，大型模型的运算常常伴随着算力波峰波谷的问题，即计算时耗费大量算力，不计算时算力闲置。而人工智能算力网络具有全国范围内的感知、分配和调度能力，能够根据各中心的算力资源和各地区的需求进行动态调配。这种特性让人工智能算力网络与大型模型的运算需求在量和节奏上都极为契合。

反过来，多模态大型模型的技术发展和在产业中的应用，也推动了人工智能算力网络的发展。这不仅使算力得到更高效的利用，而且随着技术的进步，两者之间的关系越发紧密，呈现出相互促进的态势。

昇思MindSpore的特性也在推动开发加速。由于多模态大模型的参数规模庞大，仅仅依赖算力支撑是远远不够的。传统的开发框架无法承载和利用这些庞大的算力，也无法满足大模型对参数处理的需求。昇思MindSpore具备承载和利用算力、支持大规模参数的能力，从而大大加速了多模态大模型的开发过程。

人工智能算力网络与大型模型之间，以及昇思MindSpore的特性，都在不断推动技术进步和应用发展，为未来的智能化时代奠定坚实基础。在华为全联接2021大会上，紫东·太初多模态大模型正式亮相。这一重要成果是基于昇思框架训练而成的，它是业界首个支持全自动并行的框架。业界首个中文预训练大模型鹏程·盘古便诞生在这一平台上。

昇思框架与多模态大模型的结合，展现出了令人瞩目的技术优势。该框架能够在训练过程中自动将模型切分到不同的设备，并借助庞大的计算设备集群完成并行训练。这就像建立了一套高效的中枢指挥系统，能够同时分配计算任务，确保即使面临庞大的训练任务，也能实现加速而不堵塞。

这一并行化的实现，得益于多维度自动并行的独特能力。包括数据并行、模型并行、Pipeline并行、异构并行等多个方面，通过降低通信时间的占用，实现整体迭代时间的最小化。这一系列技术创新使得并行执行更有规模和效率，无需其他AI框架的半自动或手动操作，即可完成大模型的并行执行开发。

在最新的1.5版本更新中，昇思框架进一步强化了并行调优功能，支持在大集群环境下高效训练千亿至万亿参数的模型。这一进步无疑将推动多模态大模型的训练效率达到新的高度，为人工智能领域的发展注入更强的动力。3、已奠定多模态大模型的经验基石

多模态交互，如图像、语音和文本的融合，已成为现代技术的热点话题。而背后的核心力量，无疑是建立在深厚的单模态能力基础之上。此次，紫东·太初的开发者——中国科学院自动化研究所，作为昇腾AI的紧密合作伙伴，为我们展示了其在多模态领域的卓越成果。

在发布紫东·太初之前，中科院自动化研究所已在图像、语音、文本三大领域自研了一系列业界领先的模型。这些模型的诞生，无疑为其后续的多模态研究铺平了道路。更令人赞叹的是，中科院自动化研究所与昇腾AI联手，完成了许多“前期准备”能力的构建，这些构建工作包括图文跨模态理解与生成性能、视频理解与描述性能的全球领先。这些努力都为紫东·太初的成功问世提供了重要支撑。

紫东·太初的诞生标志着全球首个三模态大模型的诞生，这不仅是技术上的突破，更是对未来交互方式的一次革命。此大模型不仅能完成跨模态理解，如图像识别、语音识别等任务，更能实现跨模态生成，如从文本生成图像、从图像生成文本、语音生成图像和视频等任务。这一技术的突破，无疑将为我们打开一扇通往更加智能、便捷生活的大门。从表面上看，两模态与三模态似乎只是数量的差异，但实际上，它们的实现难度犹如从二维世界跃进到三维世界的挑战，需要深厚的技术积累和大胆的创新精神。三模态的实现将使AI交互更上一层楼，带来更自然的交互体验，推动我们迈向强人工智能的时代。

结语，多模态大模型正在为产业带来前所未有的赋能。在开源开放的大潮中，紫东·太初这一昇腾AI的杰作已广泛应用于智能驾驶、工业质检、影视创作、智慧医疗等领域。我们的合作伙伴包括上汽集团、魏桥创业等知名企业，一幅多模态大模型赋能千行百业的壮丽画卷正在我们面前展开。

从多模态大模型的发展趋势来看，未来随着人工智能算力网络、昇思框架等基础软硬件突破性项目的推进，中国的AI产业将实现技术和模式的全面领先，拥有真正的竞争壁垒。我们期待着这一领域的持续创新和发展，为我们带来更多的惊喜和可能性。