多模态大模型，如何构建人形机器人新交互？

在2024中国人形机器人生态大会上，人形机器人产业链的众多企业代表齐聚一堂，共同探讨了人形机器人产业的最新前沿话题。这次大会的主题是「构建未来智能生活」，其中多模态大模型的应用成为了讨论的热点之一。科大讯飞开放平台的研发总监刘可为先生围绕这一主题展开了一场精彩的演讲。

刘可为先生深入探讨了如何将多模态大模型技术应用于人形机器人领域，以构建新的交互方式。他的演讲内容丰富，引人入胜，不仅介绍了相关技术的基本原理和最新进展，还展示了这项技术在实际应用中的潜力和前景。他的演讲吸引了众多参会者的关注和热议。

在这次大会上，刘可为先生的演讲成为了亮点之一。他的演讲风格生动有力，语言流畅，富有感染力。他用通俗易懂的语言解释了复杂的技术问题，让参会者对人形机器人领域的技术有了更深入的了解和认识。他还通过展示一些实际应用案例，让参会者更加直观地了解了多模态大模型技术在人形机器人领域的应用前景和价值。

除了刘可为先生的演讲外，大会上还有其他企业代表就人形机器人产业的各个方面进行了分享和讨论。这些分享和讨论不仅让人了解到人形机器人产业的最新进展和趋势，也为产业的发展提供了有益的参考和启示。这次大会是一次充满智慧和创意的盛会，为人形机器人产业的发展注入了新的活力和动力。在过去的一年半时间里，随着大模型的惊艳亮相，人工智能已经引起了全社会的广泛关注。如同中国机器人网所报道的那样，这一领域的发展势头迅猛，让人瞩目。

随着技术的不断进步和创新，人工智能已经成为当今社会的热门话题。大模型的横空出世更是为人工智能领域注入了新的活力。这些模型的应用范围广泛，涵盖了各个领域，从而引起了全社会的广泛关注。

人工智能的快速发展不仅带来了技术上的突破，也改变了人们的生活方式和思维模式。随着人工智能技术的不断普及和应用，人们越来越依赖这些智能系统来完成各种任务。从智能家居到自动驾驶汽车，从语音识别到智能客服，人工智能正在改变着我们的生活方式，让我们的生活变得更加便捷和高效。

人工智能也在推动着各行各业的创新和发展。在医疗、金融、教育、制造等领域，人工智能技术的应用正在带来革命性的变革。通过大数据分析和机器学习技术，人工智能能够帮助企业做出更准确的决策，提高生产效率和产品质量。

人工智能已经成为当今社会的热点领域，其发展前景广阔。随着技术的不断进步和创新，人工智能将会在更多领域得到应用和发展，为人类带来更多的便利和福祉。过去，人工智能似乎只是某些高端应用的附加功能，远离普通人的生活。如今它已经发生了翻天覆地的变化。以通用人工智能的大模型为代表，人工智能正在迅速发展，引领我们进入第四次人工智能浪潮。这一浪潮的影响深远广泛，人工智能不再仅仅是高高在上的技术，而是开始真正融入生产生活的各个领域。

特别值得关注的是，人形机器人领域的具身智能发展尤为迅猛。这种智能技术赋予了人形机器人更高的自主性、感知能力和交互能力，使其成为人形机器人领域的重要推动力。如今，具身智能已经成为人形机器人发展的核心和引领力量。它们不仅在娱乐、服务等领域大放异彩，还在工业、医疗等领域展现出巨大的潜力。随着技术的不断进步，人形机器人将在更多领域发挥重要作用，为人们的生活带来更多便利和乐趣。实际上，一股新的趋势正在引领机器人技术深入探索更广泛的应用场景。随着需求的日益增长，用户对机器人的期望越来越高。特别是在机器人形态逐渐从传统的机械式转变为更加人性化的人形机器人之际，我们迫切需要一种高度先进的人机交互系统。这样的人机交互系统对于人形机器人来说至关重要。它能够理解并响应人类的指令和需求，从而在各个领域发挥更大的作用。无论是工业生产、医疗服务还是家庭生活，人形机器人的潜力都是巨大的。它们不仅可以执行复杂的任务，提高工作效率，还能在关键时刻提供人性化的关怀和帮助。为了满足日益增长的用户需求，我们必须不断研发和创新人机交互技术，推动机器人技术的进一步发展。当人们谈论人机交互时，这是一个听起来颇为广泛的概念。其在实际应用中的门槛极高，要求精密的设计和细致的规划。想象一下，如果每一个机器人制造商都需要从零开始研发，这不仅需要投入大量的研发资源，而且常常难以获得显著的成效。行业内亟需一套规范的标准，以提供面向未来人形机器人的交互解决方案。这套方案不仅需要涵盖基础原理，更要适应人形机器人的特殊需求。标准化的交互方式不仅能提高人形机器人的用户体验，也能降低生产成本和时间成本。这是未来人形机器人发展道路上不可或缺的一环，也是我们共同面临的挑战。今天我要分享的是一个综合性的解决方案，它包含三大核心要素。我们引入了视听融合的感知交互技术，通过这一技术，机器人可以更加精准地捕捉和理解外界信息。接下来，我们打造了一个基于大模型的机器人大脑，这一大脑赋予了机器人强大的处理和分析能力。我们以软硬件一体化的形式对这两大要素进行了整合和优化，使得机器人厂商在集成我们的产品时能够更为便捷。这套解决方案旨在让机器人的应用变得更加智能、高效，为用户带来更加优质的服务体验。要实现与机器人的智能交互，感知是我们迈出的第一步。要让机器人能够清晰地捕捉到我们的交流内容，当前的机器人交互技术主要依赖于麦克风阵列。这项技术通过增强内部声音并抑制外部噪音，让机器人能够准确地捕捉到我们的声音波束。

在与机器人的对话中，我们可以感受到这种技术的实际应用。无论是在嘈杂的环境中还是相对安静的地方，机器人都能够通过其先进的麦克风阵列技术，将我们的声音从背景噪音中分辨出来。这就像给机器人安装了一双“听觉的慧眼”，使其能够精准地捕捉并理解我们的指令和请求。

这种技术的运用不仅提高了机器人交互的准确性和效率，还为我们带来了更加流畅、自然的交流体验。在未来，随着技术的不断进步，我们期待机器人能够在更多场景下，通过更加智能的方式，与我们进行更加深入的交流和互动。传统的算法波束形成技术存在一个问题，那就是形成的角度过于宽泛。这一问题直接导致了主说话人两侧的噪声容易被录入，使得机器人在复杂环境下表现受限。为了解决这个问题，我们引入了神经网络技术，对波束形成角度进行了大幅调整，将原本60度的角度缩小到了30度。这一改进有效抑制了两侧的噪声，使得机器人在较为恶劣的场景下也能实现高效的交互。这样的改进不仅提升了机器人的性能，也为其在复杂环境下的应用提供了更广阔的可能性。经过时间的验证，窄波束技术已经展现出其在抑制两侧噪声方面的优势。在实际生产过程中，前后人声的噪声却是一个更为普遍和棘手的问题。这种现象广泛存在于各种生产环境中，甚至在相对安静的家居场景下也难以完全避免。鸡尾酒环境中的噪声攻克难度更是极高，传统的声学技术难以有效应对。针对这一问题，我们需要一种全新的解决方案，以更好地适应各种复杂环境下的声音处理需求。

为了解决这个问题，我们可以深入研究前后人声噪声的特点，探索其产生机理和传播途径。通过对比分析不同场景下的噪声特点，我们可以找到更有效的抑制方法。结合现代声学技术，我们可以开发出更加智能、高效的噪声抑制方案。这些方案可以应用于各种领域，如语音识别、音频处理、通信系统等，以提高系统的性能和用户体验。

我们还可以通过实验和模拟来验证新方案的有效性。通过在实际场景中测试新方案，我们可以获得更准确的性能数据和使用反馈。这些数据可以帮助我们不断优化方案，使其更好地适应不同的环境和需求。最终，我们将实现更加清晰、准确的语音通信，为人们的生活和工作带来更多便利。

虽然窄波束技术在抑制两侧噪声方面表现出色，但前后人声的噪声问题仍然需要我们关注。通过深入研究、探索新技术、实验验证，我们可以找到更好的解决方案，为声音处理领域带来新的突破。我们增添了摄像头功能，并集成了人脸检测、实时嘴巴检测和声音检测三大系统。通过录音信息结合物体跟踪技术，实现了精准地只捕捉目标人物的声音，同时屏蔽掉其他声音。这一创新技术的融合，不仅让人脸识别更加精准，也让声音捕捉更加智能，让您的使用体验更上一层楼。如何让机器人“耳”聪“目”明？当我们将机器人用于语音交互时，首要任务是确保机器人能够清晰地捕获音频并将其转化为文字。大模型在语义理解方面的卓越表现已经获得了业内的广泛认可。基于神经网络的大模型方案为语音交互技术开辟了一条全新的道路，为机器人提供了更智能的听觉能力。

这一技术的核心在于利用先进的神经网络算法，对音频进行深入分析，并将其转化为文字。这就像给机器人安装了一双“聪明的耳朵”，使其不仅能够听到声音，更能理解声音的含意。通过这样的技术，机器人在处理语音交互时，能够更准确地识别说话者的意图，从而做出更精准的回应。

讯飞星火的语音识别大模型已经飞跃式地超越了我们的基线技术，其表现堪称惊艳。在音质、音色和流畅度方面，它几乎达到了专业主播的水平。过于完美无缺的声音有时会给人带来距离感，仿佛缺乏真实的人情味。为了解决这个问题，科大讯飞进行了深入研究，实现了超拟人口语化的声音合成。

这一技术的突破，赋予了语音交互以更强的拟人化程度。它能模拟人类在对话时的思考停顿，让语音交互更加自然流畅。随着交互链路的延长，我们成功将整个交互时间控制在200毫米以内，这标志着我们已经真正达到了商用级别的语音交互水平。

这一进步不仅在技术层面上展现了我们的实力，更在用户体验上实现了质的飞跃。我们的讯飞星火语音识别大模型，不仅提供了高品质的语音交互体验，更在模拟人类对话上达到了新的高度。这无疑是我们不断追求技术创新、提升用户体验的生动体现。讯飞超拟人语音合成技术赋予机器人更加人性化的声音，让交互更具情感共鸣。当我们的机器人发出这样的声音时，它们传递的不再是机械冰冷的数据信息，而是充满情感和思想的温暖交流。这种技术的突破让机器人能够更深入地理解人类情感，从而为我们带来更加真实的交流体验。谈及语音合成，接下来让我们探讨一下发言人的定制话题。对于人们常问的定制个性化声音需要耗费多少成本和时间的问题，我们的目标是通过仅需一句话，短短三十字以内，即可为你塑造出独一无二的发言人。基于这一独特音色，我们还能为你衍生出四种不同的语音表达。这样的技术革新，不仅大大降低了定制发言人的门槛，更大大缩短了制作周期，让你的声音特色得到全新的展现。前文我们探讨的主要是对话机器在闲聊场景的应用，例如在陪伴型机器人需要为我们讲述长篇故事时，对于短文本，我们更侧重于其口语化和亲切感；而对于长文本，我们则需要理解上下文，将整篇故事生动地呈现出来。我们已经实现了高度拟人化的长文本合成技术，在音质、音调和情感转折上都能达到惊人水平，真正做到了声情并茂。这意味着我们的机器不仅能简单地“说话”，更能像人类一样“表达”，为听众带来更加真实、沉浸式的体验。在现今机器人技术繁盛的时代，面对复杂的场景，如何整合机器人的各项能力成为了一项关键挑战。我们凭借先进的AI传感技术，形成了一套多模态交互指导规范。这套规范能够精准地洞察客户需求和场景特点，为客户量身打造出流畅、自然的多模态交互逻辑。

在构建机器人交互范式的过程中，我们融合了多种模态的技术应用。通过深度理解和运用视觉、语音、触觉等多种感知方式，我们能够赋予机器人更加精细的感知能力和更加丰富的表达方式。这样的交互范式，使得机器人在执行任务时，能够更贴近人类的自然沟通方式，为客户提供更加智能、便捷的服务体验。

我们的多模态交互逻辑，不仅仅是技术的堆砌，更是对人机交互理念的深度探索和创新。我们致力于打破传统的人机交互壁垒，让机器人不再仅仅是冷冰冰的机器，而是成为能够深入理解人类需求，能够用多种方式与我们沟通的智能伙伴。这样的机器人，将为我们带来更多的便利和乐趣，开启人机交互的新纪元。如何巧妙地将强大的语义理解大模型应用于机器人上，实现视频感知交互呢？这是一个既充满挑战又充满机遇的问题。对于这个问题，我们可以从两个方面进行考虑。

我们需要让机器人具备完成特定任务的能力。这些任务包括但不限于信息查询、指令操作等。为了实现这一目标，我们可以将大模型的语义理解能力与机器人的硬件设备进行结合。这样，机器人就能够通过视频感知用户的请求，并运用其强大的语义理解能力准确理解用户的意图，从而完成各种任务。

其次, 我们希望机器人不仅仅是完成任务的工具，更是一个能够与我们进行多轮对话、感知我们情绪的伙伴。为此，我们需要进一步挖掘大模型的潜力。通过深度学习和自然语言处理技术，让机器人具备感知用户情感的能力，并根据用户的情绪提供合适的回应和陪伴。这样，机器人就可以在我们的日常生活中扮演一个更加贴心的角色，与我们进行更加自然、流畅的交互。

将大模型的语义理解能力应用于机器人上，不仅可以提高机器人的工作效率，还可以让机器人成为我们生活中更加智能、贴心的伴侣。这是一个充满前景的研究方向，值得我们深入探索和研究。在人机对话的广阔领域中，我们精心打造了一个定向增强的超级大模型。这座模型不仅是讯飞机器人大模型的核心基石，其输出更是完美适配人机交互产品，使之更为流畅自然。在此，我要重点介绍我们的星火交互大模型。

星火交互大模型是对过去人机交互流程的深入融合与创新。它巧妙地将不同功能模块与单一大模型相结合，构建了一个完整的人机交互体系。这一体系的独特之处在于，它不仅能够保持语音交互的原始准确性，更将对话能力提升到全新的水平。

随着大家对文档知识问答的逐渐熟悉，我们这套独特的文档问答体系的核心优势也日益凸显。我们针对人机交互的独有特性，量身定制了线下检索模型，这一创新极大地提升了检索效率，同时融入了一些关键词和知识的精准干预，未来我们还有更多升级计划。这一切都是基于大模型强大的知识理解和对话能力，使得整个闲聊对话体验如同自然流淌般顺畅。

究竟什么样的产品可以被称作智能化产品呢？当我们谈论智能化产品时，一个重要的特征就是它们提供的独特体验。这些产品不仅仅是功能的堆砌，更是融合了智能化的交互体验。定制化产品的体验因其个性化的特点而显得尤为重要。在智能化领域，一个引人注目的例子就是星火交互大模型。

星火交互大模型内置了星火有伴这一功能，使得它与用户的交互更加富有风格和情感。这套大模型不仅能与用户进行风格化和情感化的对话聊天，更能形成用户的短时和长时记忆。这种记忆的形成并非简单的信息存储，而是通过与用户的每一次交流，不断积累、深化对用户的了解。

更为令人印象深刻的是，我们为这套记忆设定了衰减参数。这个参数的设置，使得记忆可以像人类的大脑一样，有选择性地进行信息的保存和遗忘。这种模拟人脑的工作方式，使得机器人在交互过程中更加真实、自然，仿佛真的拥有了“灵魂”。

我们在风格化和AI人设化的探索上所做的这些工作，不仅让智能化产品更加生动、有趣，也让用户在使用这些产品时感受到更多的情感和人文关怀。这样的智能化产品，才能真正满足用户的需求，成为他们生活中不可或缺的一部分。接下来，让我们深入探讨软硬件接入一体的解决方案。在人机交互的复杂世界中，为了降低使用门槛，该方案提供了强大的算力支持，适用于人形机器人应用。在这一集成模组中，所有的人机交互算法都被巧妙地融合，不仅方便实用，还支持二次开发，充分展示了技术的灵活性和可扩展性。

这一切的神奇之处，都离不开讯飞的超脑平台作为坚实后盾。该平台致力于面向机器人领域，提供多模态的感知交互、开放式的语义理解以及创新的软硬件交互方式。想象一下，在这个平台上，你可以轻松实现语音、手势、视觉等多种方式的交互，感受人机交互带来的无限可能。

讯飞的超脑平台还具备极高的开放性和兼容性，允许开发者们进行二次开发，为机器人应用注入更多创新元素。无论是对于专业人士还是初学者，这都是一个充满机遇和挑战的平台。在这里，你可以充分发挥自己的创造力，创造出更多具有革新性的机器人应用。我们深刻理解机器人产业生态的重要性，因此我们秉持共生共创共享的理念，不断推动产业发展。为了与大家建立紧密的联系，我们举办了一系列丰富多彩的活动，包括工业设计大赛、开发者论坛、服务市场和创业孵化等。我们希望通过这些活动，与产业内的各方共同参与、共同创造、共同分享机器人产业的未来。

在未来，我们将继续加强技术和产品创新，通过讯飞倡导2030年计划，不断探索人机合作的无限可能。我们相信，只有整个生态的共同发展，才能推动机器人产业的不断进步。我们将继续致力于与产业内的各方携手合作，共同推动机器人产业的繁荣发展。我们的目标是，通过不断的努力和探索，让人机合作变得更加智能、高效、便捷，为人类创造更美好的未来。