算力大升级 英特尔至强可扩展处理器持续技术创新
在过去的半年里，随着大模型产品的迅猛发展和广泛应用，AI所带来的变革已经逐渐凸显。特别是在算力领域，其格局变化尤为明显。作为支撑AI研究和应用的核心力量，算力已经变得越来越重要。
到了2023年，生成式AI的爆发给云计算产业带来了前所未有的机遇和挑战。大模型的应用需要庞大的算力支持，这使得用户纷纷转向云计算厂商购买算力服务。随着越来越多的用户涌入云服务市场，云厂商面临着巨大的压力，需要迅速升级数据中心算力以满足AI需求。为了降低总体拥有成本（TCO），云厂商必须为用户提供价格合理的算力资源。除此之外，AI应用开发中涉及到的大量隐私敏感数据的云端存储和使用也让云厂商倍感压力，他们必须全力保障这些数据的安全可靠，以消除用户的顾虑。
在这样的背景下，云厂商对于已有硬件基础设施的更新换代变得迫切且必要。他们迫切需要新一代CPU在保证基础设施平稳升级迭代的具备更强大的性能、更低的TCO以及满足云端多样化工作负载需求的强大AI能力。
对于大型云服务基础设施而言，稳定性和可靠性依然是其最核心的需求。云服务厂商在升级硬件时决策更加谨慎，更倾向于在有着长期延续性的主流平台上逐渐迭代，以最大程度地保护上层软件应用投资，并减小对基础设施开发运维部门的冲击。
随着技术的不断进步和市场的不断变化，云厂商和硬件供应商需要紧密合作，共同推动云计算产业的发展。只有这样，才能更好地满足用户的需求，为未来的云计算市场奠定坚实的基础。云端大模型的锤炼与安全守护
在云端，大模型的训练和推理之旅并非一帆风顺。数据传输的巨浪，需要用户将大量敏感数据送达云端。云厂商如同守护者，必须采取更加坚决的安全措施。例如，启用硬件级的安全引擎，确保数据在传输和存储过程中的安全无虞，实现云实例间的数据完美隔离，有效抵御任何恶意入侵和泄漏的威胁。
当我们深入探究AI应用的内部机制，会发现它们涉及大量的低精度矩阵运算，对内存空间有着近乎贪婪的需求。对于那些专注于大模型推理应用和中小尺度模型训练的应用来说，搭载AI加速器的CPU展现出惊人的能耗比与性价比。它们不仅在效率上占据优势，更能以极具吸引力的TCO（总体拥有成本）满足云厂商多元化的AI服务需求。而CPU的通用计算能力，则赋予了云厂商无比的灵活性，让基础设施投资得到最大化保护。
面对这些实际需求，英特尔——这位服务器CPU领域的佼佼者——继续走在技术前沿。年初刚刚发布第四代至强® 可扩展处理器后，他们又迅速推出了第五代至强® 可扩展处理器。这款新品不仅与上一代处理器完美兼容，更提供了硬件级的全面安全保障和可信服务。配合丰富的AI产品组合，它几乎可以驾驭整个AI管线，从而构建了应对人工智能时代的强大产品阵容。英特尔的每一步都显得稳健而有力，为云端大模型的训练和推理提供了坚实的后盾。在当今人工智能时代的核心架构中，技术创新已响应三大需求，以不断推动我们的世界前进。其中，CPU作为基础设施的关键角色，仍在扮演着无可替代的领航者角色。尤其是第五代至强® 可扩展处理器的推出，更是将这一角色推向了新的高度。
相较于上一代产品，第五代至强® 可扩展处理器的核心数量跃升至64个，犹如强大的心脏驱动着整个系统。其单核性能与内存带宽的提升，如同给机器注入了更为鲜活的生命力。而其三级缓存容量的提升更是接近三倍，使得数据处理能力得到前所未有的增强。更为重要的是，这款处理器的每个内核都拥有AI加速功能。内置的英特尔® AVX-512及英特尔® AMX技术，如同给机器装上了智慧的翅膀，让机器学习、深度学习和大型模型应用的性能得到飞速提升。
而第五代至强® 可扩展处理器的出处，不仅仅在于其强大的计算能力。它还通过英特尔® SGX/TDX技术，为云端数据的使用提供了端到端的硬件级防护能力，确保数据在传输和处理过程中的安全性。相较于上一代至强® 可扩展处理器，五代至强® 在相同功耗下，平均性能提升了21%，这无疑是一个巨大的突破。更为令人振奋的是，其在AI推理和训练性能上的提升，高达42%和29%，这意味着我们的机器将更加智能，更能满足复杂任务的需求。
第五代至强® 可扩展处理器不仅在技术性能上有了显著的提升，更在数据安全方面给予了足够的保障。这无疑为人工智能的发展注入了新的活力，让我们更加期待未来的技术革新。一系列技术创新使得第五代至强® 可扩展处理器在AI时代的云计算基础设施中发挥着至关重要的作用。众多客户已经在日常运营中广泛部署了这些处理器，其实践成果充分证明了它们能够为用户带来可观的收益增长。这些处理器的出色表现赢得了客户的高度赞誉，同时也让正在考虑升级云计算基础设施的企业对新一代至强® 充满了期待。
英特尔的AMX技术为提升大模型的推理性能提供了强大的支持，助力京东在营销领域实现了重大突破。2023年，京东云成功地在数百个AI场景中应用了大模型技术，并在数百个营销场景中改进了原有工作流程。这些升级举措极大地提升了商家与消费者的购物体验，使得京东在竞争激烈的市场中脱颖而出。通过应用先进的处理器技术和大模型推理，京东能够为消费者提供更加个性化、高效的购物体验，进一步巩固了其市场地位。基于京东云自研的先进言犀AI与大模型技术，我们成功生成了高达30%的大促物料。其中，京小智数字人和领航者营销平台在强大的大模型支持下，商品推荐采纳率惊人地达到了87%，同时消费者应答准确率也提升了30%。这一成果的取得，彰显了京东云技术的卓越实力。
京东的大模型技术能够在首次亮相便取得优异的成绩，背后离不开其新一代自研服务器的支持。这款服务器基于第五代英特尔® 至强® 可扩展处理器构建，相较于上一代自研服务器，整机性能提升了23%。更为关键的是，它在AI CV推理性能和Llama v2大模型推理性能上分别提升了38%和51%，展现了强大的实力。
这一切的优异表现，都归功于第五代英特尔® 至强® 可扩展处理器内搭载的英特尔® AMX加速引擎。这一加速引擎能将INT8低精度矩阵运算速度提升一个数量级。结合处理器的高内存带宽和强大的多核心互联能力，使得AI推理性能相较于上一代有了显著的提升。我们的技术团队以此为基础，不断优化和创新，为京东云的发展注入了强大的动力。
京东云的技术进步和卓越表现，离不开团队的努力和技术的不断创新。我们期待着未来京东云能够继续为消费者带来更优质的服务，为商家创造更大的价值。在京东云承载的AI推理应用服务中，第五代至强®可扩展处理器与英特尔®AMX技术的组合大放异彩。在11.11大促期间，它们共同助力用户访问峰值同比飙升170%，智能客服咨询服务量更是超过14亿次。令人惊叹的是，这一切的成就并未增加能耗，京东云基础设施的运维成本也得以维持在原有水平。英特尔技术展现了其卓越的性能和价值。
随着云计算的发展，数据安全和隐私保护已成为行业关注的焦点。为了满足更多行业和组织对云服务的需求，云厂商迫切需要提供更高水准的硬件级安全城墙。英特尔®TDX技术赋能可信计算环境，为阿里云客户构筑了端到端数据安全城墙。这一技术的引入，无疑为阿里云构建了一个强大的安全云环境。
机密计算是实现云环境中数据有效保护的一种良策。它通过为客户敏感数据提供基于硬件设备的可信执行环境（TEE），以隔离保护的方式来防止未经授权的入侵者访问或修改处理中的数据。作为机密计算技术的引领者之一，英特尔®软件防护扩展（英特尔®SGX）技术提供了强大的应用层面隔离能力。在与阿里云的合作中，英特尔®TDX技术与阿里云新实例搭载的可信平台模块（TPM）相配合，打造了虚拟化的硬件可信环境。这一环境不仅为整个虚拟化实例（包括虚拟机、容器）提供了可信边界，也为阿里云第八代企业级ECS实例g8i提供了更大、更易部署的安全云环境。这种合作模式将英特尔技术与阿里云的技术完美结合，为客户提供了更为安全、可靠的云服务体验。英特尔® TDX技术：拓宽可信边界，深化云端数据保护
英特尔® TDX技术有效扩展了TEE环境的可信边界，将IaaS、PaaS等环境中的云工作负载纳入机密计算的数据保护范围。这一创新举措为云端数据构筑了一道坚实的防护墙，抵御恶意威胁，强化数据隔离。
值得一提的是，阿里云自研的千问大模型正是得益于英特尔® TDX的全面保护，实现了模型数据端到端的加密保护。对于AI大模型这类需要大量数据云端传输的应用场景，英特尔® TDX技术提供了坚不可摧的安全保障。它为生成式AI应用的广泛普及铺设了信任之路，让数据的流动更加安全、高效。
不仅如此，在引入第五代至强® 可扩展处理器后，第八代企业级ECS实例在多个工作负载中表现出色。无论是计算、网络、存储还是安全等方面，该实例都实现了显著的提升。特别是在数据库、硬件加解密、AI应用以及音视频等场景中，性能提升幅度高达15%~25%。
值得一提的是，第八代实例在保持价格不变的通过更小的性能开销，为阿里云g8i实例的用户提供了更高的数据安全性。这意味着用户可以在不增加成本的前提下，享受到更加全面、高效的数据保护。英特尔® TDX技术和第八代企业级ECS实例的强强联合，为阿里云用户带来了实实在在的利益，也为云计算行业树立了新的安全标杆。
在这个数据安全和性能要求日益重要的时代，英特尔® TDX技术和八代实例的出色表现，无疑为云计算行业注入了新的活力。它们的出色表现，不仅为用户提供了更强的数据保障，也为行业的持续发展奠定了坚实的基础。第五代至强®处理器赋能火山引擎实现算力大升级，引领降本增效的新时代
火山引擎拥有大规模云原生基础设施，支撑着一系列复杂的需求。为了应对超过百万台服务器、上千万容器实例的挑战，以及数十EB级别的存储资源、10 亿+级QPS缓存峰值和10+TB/s的读写峰值带宽，火山引擎始终信赖并选择英特尔® 至强® 解决方案。最近，火山引擎率先引入了第五代至强® 可扩展处理器，为其第三代弹性计算实例注入了全新的活力。
相较于之前的四代至强®弹性计算实例，第五代至强®处理器为火山引擎带来了显著的算力和性能提升。其弹性计算实例的整机算力提升了39%，内存带宽提升了17%，并且在AI、视频处理性能和Java应用性能等方面都有约40%的性能飞跃。更值得一提的是，火山引擎计划利用英特尔的原生硬件加速技术进一步提升能力。以Nginx为例，利用英特尔® QAT技术，数据压缩和证书验证操作的吞吐量最高可提升5倍；在RocksDB中，使用英特尔® IAA技术，数据压缩读写的吞吐量最高可提升1.9倍。
随着技术的不断进步，火山引擎的信赖和合作使得英特尔的至强处理器得以持续进化，为大规模云原生环境提供了强大的支持。这种强强联合，不仅满足了火山引擎日益增长的需求，也为整个行业树立了新的标杆，展示了英特尔处理器在支撑云原生基础设施方面的出色性能和能力。火山引擎正在迈向一个新的里程碑，构建了百万核心级别的弹性资源池，旨在支撑业务的流量增长、体验创新和安全性提升，提供海量的算力保障。这一创新举措无疑将极大地推动火山引擎的业务发展。
与此第五代至强® 可扩展处理器的引入，如同注入了强大的新能量。这款处理器不仅提供了惊人的算力，而且与上一代处理器保持了兼容，共享架构与平台，从而大大简化了测试和验证的工作流程。它的出色性能、高级安全性和卓越的性价比已经在头部云服务提供商中得到了广泛的验证和认可。
这款处理器的强大性能不仅体现在其处理任务的效率上，更在于其可扩展性，能够适应不断变化的业务需求。其卓越的兼容性使得它在继承上一代处理器优点的能够无缝升级，为未来的技术革新打下坚实的基础。这一重要的技术革新，无疑将进一步提升火山引擎的服务能力和竞争力。重塑文本，保持原文风格与含义，同时增加生动性和流畅度：
《软硬兼备，破解AI创新核心难题》