人工智能时代的算力挑战

近期，OpenAI推出的聊天机器人ChatGPT无疑成为了科技领域的热门话题。从技术人员到普通网友，似乎都在热议这一话题，仿佛不参与讨论就会显得落伍。在这场热议中，也有一些不同的声音。图灵奖得主、Meta的首席AI科学家杨立昆（Yann LeCun）在社交媒体上表示，从底层技术来看，ChatGPT并没有明显的创新。与其说是技术革新，不如说是工程上的重大进展。

杨立昆的言论一经发出，便引发了网友的热烈讨论。一些人认为他的观点是“吃不到葡萄说葡萄酸”，因为Meta在类似产品上的失败经历。面对这样的舆论压力，杨立昆选择了沉默。但如果我们仔细思考他的观点，会发现其中深意。

诚然，ChatGPT的表现令人惊艳，但从根本上看，它仍然是深度学习的一个小拓展。类似的产品在几年前就已出现，ChatGPT的优势在于使用了更多的参数和更大的训练样本。其卓越性能在很大程度上源于这些数量的积累。

回顾深度学习的历史，我们会发现这一思路早在上世纪50年代就已萌芽。当时，罗森布拉特用神经网络进行机器学习的理念被视为人工智能领域最古老的理论之一。这一理论长期被忽视，即使是被誉为“深度学习之父”的杰弗里·辛顿（Geoffrey Hinton）也曾遭受孤立和排挤。转折点出现在本世纪初，深度学习成为人工智能的主流，一系列基于该理论的模型如雨后春笋般涌现，ChatGPT便是其中的佼佼者。

那么，是什么让深度学习在近几年扭转颓势，从边缘走向主流呢？关键在于算力的突破。

算力是衡量设备处理数据、输出结果的能力，或者说是计算能力。随着技术的发展，算力的衡量单位从每秒完成的标准操作数量（SOPS）发展到每秒完成的百万次、十亿次甚至万亿次操作数（MOPS、GOPS、TOPS）。算力的提升对于人工智能领域具有至关重要的意义。

阿格拉沃尔（Ajay Agrawal）等人在《预测机器》一书中提出，算力的成本将决定AI模型的“价格”，从而影响其市场需求。在算力低下的时代，深度学习的实现需要巨大的运算量，导致算力的单位成本非常高。如今，随着技术的进步，算力大幅提升，成本降低，为深度学习的广泛应用提供了可能。

我们可以说，算力的突破是深度学习从边缘走向主流的关键。没有算力的提升，就没有今天ChatGPT等基于深度学习技术的产品的辉煌成就。在当前的计算领域中，尽管深度学习理论展现出了巨大的潜力，但其高昂的成本使得它在市场上的竞争力受限。相比之下，符号学派的模型对计算资源的需求较小，因此其相对价格更为亲民。但随着算力成本的大幅降低，深度学习模型的门槛逐渐降低，其竞争力也显著增强。由此可见，深度学习在现阶段的成功并不仅仅是一个单纯的技术进步，更是一个经济事件。

那么，究竟什么是算力？如何提高算力呢？我们可以从计算数学题的角度来直观理解。提高单位时间内计算数学题效率的方法有三种：一是增加计算人数，二是改进计算工具和设备，三是优化计算方法。同样地，提升算力也可以采用这三种策略，即借助高性能计算和分布式计算、实现计算模式的突破以及改进算法。

高性能计算和分布式计算是两种重要的策略。它们都是通过动员更多的计算资源来共同完成任务。高性能计算主要依赖于并行计算技术，将任务分解为多个部分，然后交由多个计算单元同时处理。这种策略充分利用了计算资源的优势，大大提升了计算效率。而分布式计算则是将计算任务分散到网络上的多个设备上，通过协同工作来完成任务。

并行计算作为高性能计算的核心技术，具有同构并行和异构并行两种形式。同构并行将任务分配给一系列相同的计算单元，而异构并行则结合了不同制程架构、不同指令集、不同功能的计算单元。在实际应用中，异构并行计算正受到越来越多的重视，因为它能够充分利用各种计算单元的优势，实现更高效的计算。

以CPU和GPU的结构为例，CPU更适合进行复杂的计算，但并行执行能力有限；而GPU则能够同时执行大量简单的计算任务。在需要处理大量并行任务的应用场景中，GPU的优势就体现出来了。现在越来越多的设备采用了CPU和GPU混搭的架构，以充分利用两者的优势，提高计算效率。

提升算力的方法多种多样，包括借助高性能计算和分布式计算、实现计算模式的突破以及改进算法等。随着技术的不断进步和算力成本的不断降低，深度学习等高性能计算技术在各个领域的应用将会更加广泛，推动人工智能技术的快速发展。在技术的世界里，CPU与GPU的关系如同数学博士与小学生。CPU如同精于微积分与线性代数的数学博士，擅长处理复杂的计算任务。而GPU则像一群只会四则运算的小学生，虽然不擅长复杂的计算，但在处理大量简单的并行计算时却展现出惊人的速度。GPU最初被广泛应用于显卡领域，负责图形和色彩的变换，处理大量的计算任务。随着深度学习的兴起，GPU因其强大的并行处理能力被人工智能专家所青睐。GPU与CPU的结合如同导师与学生的合作，共同完成了许多复杂的任务，推动了高性能计算的进步。在这种背景下，异构并行成为了流行的架构模式。

异构架构的使用并非易事，它对使用者的编程技能要求较高。只有深入理解不同计算单元的属性并进行针对性的编程，才能充分发挥其效能。尽管如此，通过并行计算提升运算效率仍然面临一定的限制。阿姆达尔定律告诉我们，无论增加多少处理器或线程，系统的加速比都将趋于一个上限。这就像一本关于生成式AI的书，即使雇佣再多的研究助手，写书的进度也会受到作者自身写作速度的限制。

另一方面，分布式计算是另一种增强算力的思路。与高性能计算主要依赖本地计算单位不同，分布式计算将分散在不同物理区域的计算单位聚集起来，共同完成某一计算任务。例如，SETI@home计划就是一个典型的分布式计算用例，利用互联网上闲置的个人计算机算力处理天文数据。

云计算作为分布式计算的一种典型代表，已经成为现代社会中不可或缺的一部分。云计算的定义虽然抽象，但可以通过一个通俗的比喻来理解：传统上，用户主要依赖自家的单一IT资源，就像自己发电供自己用；而云计算则像建立一个大型的“发电站”，然后向所有用户提供“电力”（IT资源）。根据不同的需求，云服务提供者提供不同的云交付模式，如IaaS、PaaS和SaaS。这使得用户可以根据自己的需求选择相应的IT资源。例如，元宇宙的用户如果需要更多的算力或存储，可以从云端获取“外援”，按需取用。

云计算虽然理论上能够很好地满足巨大的运算和存储需求，但也存在明显的缺陷。如同任何技术一样，它需要不断的研究和改进，以适应不断变化的市场需求和技术挑战。驾驭未来计算：边缘计算、量子计算与算法优化的三重奏

在数字化时代，云计算已成为数据处理的基石。随着数据量的激增，云计算面临着巨大的挑战：数据的传输延迟。当大量数据在本地和云端之间穿梭时，这种延迟变得尤为明显，特别是当数据吞吐量巨大时。这种延迟对于用户来说，可能会产生负面的使用体验。

那么，如何突破这一瓶颈呢？答案就藏在我们的身边：边缘计算。边缘计算，顾名思义，就是在靠近用户或设备的一侧建立一个能够进行计算、存储和传输的平台。这个平台不仅能在终端和云端之间起到中介作用，还能实时响应终端的需求。因为边缘平台靠近用户，其与用户的数据交换更加及时，从而有效地缓解了延迟问题。

除了边缘计算，我们还有另一种突破性的技术：量子计算。量子计算不再是仅仅局限于高性能计算和分布式计算的范畴，它代表的是计算方式的一种根本性变革。经典计算的基本单位是比特，其状态只能是0或1。而量子计算的基本单位是量子比特，其状态是一个多维的向量，每个维度都可以表示一个状态。这使得量子存储器相较于经典存储器具有巨大优势。

想象一下，一个拥有N物理比特的量子存储器，它可以同时存储2的N次方个数据！随着比特数的增加，其存储能力将呈现指数级增长。例如，一个250量子比特的存储器甚至可以存储比整个宇宙中原子还多的数据！在进行量子计算时，数学操作可以同时作用于存储器中的所有数据。这意味着，一次运算可以处理2的N次方个输入数，相当于经典计算机重复实施相同操作2的N次方次，或者使用2的N次方个处理器并行操作。这样的设计大幅减少了计算次数。

值得注意的是，尽管量子计算在特定问题上展现出无与伦比的威力，例如大数因式分解在破解公开密钥加密的过程中，其运算时间随着数字的二进制长度呈现指数级增长的问题，在量子计算面前只需一秒即可解决。但我们必须认识到，量子计算的威力目前还只能体现在少数特殊问题的处理上。现在报道的量子计算机大多只能执行专门算法，无法执行通用计算任务。它们的应用场景有限，但一旦找到适合的问题和场景，量子计算就会展现出惊人的效果。

除了通过革新计算方式和布局来“开源”，我们还可以通过改进算法来“节流”，从而达到节约算力的目的。在ChatGPT火爆之后，大模型备受瞩目。为了追求更好的模型表现，模型参数和训练数据量都在不断增加。但在这个过程中，我们也需要关注算法的效率和优化。通过改进算法，我们可以更有效地利用算力，减少因计算而产生的经济和环境成本。开源和节流同等重要，共同推动着计算效率的提升。

边缘计算、量子计算和算法优化是我们在面对计算挑战时的三大法宝。通过这三者的结合，我们可以更好地驾驭未来的计算，为数字化时代带来更加广阔的前景。随着GPT系列的飞速发展，从GPT-1到GPT-3.5，其参数和预训练数据呈现出惊人的增长趋势。GPT-3拥有的参数高达1750亿个，训练它的成本单次就达140万美元。而GPT-3.5的数据量和参数无疑更上一层楼，背后是微软庞大的计算资源支撑，构建了一个由1万个V100GPU组成的高性能网络集群。这种模型规模的膨胀对算力的需求在未来几年将迎来爆炸式增长，预计未来AI模型所需的算力将是现在的百万倍。这不仅对经济成本造成压力，也给环境带来了巨大挑战。

在这样的大背景下，研究者们正在积极寻找解决方案。其中，SparseGPT技术首次针对大模型提出精确的单次剪枝方法，显著降低了GPT系列模型对算力的需求。这一技术的出现为训练大模型提供了新的可能，不仅减少了计算量，而且降低了对环境资源的消耗。

与此政策的引导和支持在人工智能的发展中起着至关重要的作用。我们需要加快算力基础设施的建设和布局，通过云计算等手段提升全社会算力需求的支持能力。在布局过程中，应充分考虑地域和空间的分布，努力降低算力的成本。我国正在推进的“东数西算”工程就是一个很好的例子，通过在西部地区建立算力设施，可以有效降低算力的供给成本。

我们还应加强与算力相关的硬件技术及其应用的研发。这包括经典计算硬件和新计算理论下的硬件，如量子计算机等。这些硬件的性能直接关系到算力供应的上限，因此必须加大研发力度。我们还需要积极探索技术的应用，将量子计算等新技术应用到实际计算问题中，以充分发挥其优势。

我们需要对算法、架构等软件层面的要素进行优化，在提升AI产品性能的尽量减少对算力的依赖。为此，应给予相应的激励，鼓励研究人员在算法优化上的创新。考虑到这些成果的社会正外部性，除了专利保护外，还可以通过直接奖励、开源成果、招标采购等方式进行激励和推广。

面对AI对算力的巨大需求，我们需要在技术、政策、激励等方面共同努力，以支撑人工智能的持续发展。只有这样，我们才能在保证AI产品性能的降低其计算成本，推动人工智能技术的普及和应用。在人工智能飞速发展的时代，算力的重要性愈发凸显，甚至可能成为决定人工智能发展上限的关键因素。为了激励更多的人积极投身到改进模型、节约算力的事业中，正在采取一系列重要举措。一旦有成果产出，我们将及时享受到这些成果带来的便利。也承诺将支付相应的费用，并对成果进行开源，以促进技术的共享与进步。这些措施的实施，不仅有助于推动人工智能技术的突破与创新，更能让整个社会共同分享到人工智能发展的红利。我们必须重视算力问题，只有在算力上实现突破，人工智能的发展才能取得根本保障。让我们携手努力，共同推动人工智能事业的繁荣发展。