为什么说工业机器人的那双慧眼并不聪慧

工业机器人，曾被视为冷冰冰的自动化设备，但在计算机视觉技术的推动下，已逐渐演变为拥有感官、思维与情感的新一代工业伙伴，引领着珠三角、长三角以及东北三省的机器换人热潮。但工业机器人的计算机视觉与我们日常所见的计算机视觉应用有何不同呢？

本期硬创公开课特邀李群自动化创始人兼CEO为我们揭开这一神秘面纱。他以多年工业机器人研发的经验，为我们详细解读工业机器人的计算机视觉技术，以及它如何助力柔性自动化，同时剖析当前应用中所面临的挑战。

石金博，这位李群自动化的掌门人，香港科技大学ECE博士，师从世界顶尖机器人专家李泽湘教授。他对世界机器人技术和产业发展有着深刻的理解。自2011年创立李群自动化以来，他致力于小轻量型工业机器人的自主研发。2013年，他带领团队成功研发出全球首台驱控一体并联机器人，其高度集成的设计被国内外厂商纷纷效仿。他还领导研发团队突破了高速实时视觉检测技术的瓶颈，开发出具备世界先进技术水平的Apollo系列并联机器人和Artemis系列SCARA机器人及相关配套产品。

那么，CV在工业机器人和服务机器人上的应用有何区别呢？

问：CV在工业机器人上的应用和服务机器人上的应用的主要区别是什么？

答：实际上，计算机视觉在机器人领域的应用始于2011年，最初主要用于电子产品的装配。工业机器人的计算机视觉应用主要聚焦于高精度、高速度的工业生产场景，对机器人的定位、识别和操作能力有更高的要求。而服务机器人则更侧重于在日常生活场景中的导航、人脸识别、语音交互等功能，更强调人机交互的便捷性和友好性。两者的应用场景和技术侧重点有所不同。

原本只是简单的视频采集的公司，如今开始融入视觉算法，发生了翻天覆地的变化。如果要探讨其中的差异，可以从以下几个方面入手。

首先是应用场景的变革。在工业机器人的环境中，计算机视觉所面对的场景相对单一，如工业元器件、材料的识别，以及操作过程的监控。服务机器人的应用场景更加丰富多彩，例如家用机器人和无人机，其中视觉作为导航的重要工具，通过计算机视觉（CV）完成周边环境的测算和空间建模。监控领域也是服务机器人中计算机视觉应用的一个典型代表。

计算机视觉在机器人中所起的作用也发生了显著变化。在工业机器人中，视觉主要用于导引、轨迹和定位。而在服务机器人中，视觉的应用则更加广泛，如导航、空间建模等。

在精度方面，工业机器人的计算机视觉辨识精度极高，达到毫米级以下，包括静态和动态辨识精度。静态辨识精度取决于相机的分辨率和物品的边缘清晰度。而服务机器人的精度则相对较低，可能达到厘米级以上。

工作空间范围也是两者差异的一个方面。工业机器人的视觉辨识空间受限于相机的安装空间及分辨率，而服务机器人的工作空间则受到电池续航能力的限制。

安全性也是不可忽视的一点。工业机器人的视觉系统需要确保在复杂环境中的稳定性和可靠性，避免误操作或故障带来的安全隐患。而服务机器人则需要更加注重用户交互的安全性，确保在与人互动过程中不会造成伤害或危险。

随着技术的不断发展，计算机视觉在工业机器人和服务机器人中的应用呈现出明显的差异。这些差异使得计算机视觉在不同的领域发挥出更加广泛和深入的作用。工业机器人上的视觉系统：精度与可靠性的探索

工业机器人和服务机器人中的视觉系统，差异主要体现在精度和可靠性上。在工业机器人中，视觉部分需要尽可能避免人和设备的不必要交互，追求的是不受干扰的稳定性能。而对于服务机器人，人与设备的交互频繁，视觉成为连接人与服务机器人之间的桥梁。

关于计算机视觉在工业机器人和服务机器人的应用领域，有一个值得关注的议题便是机器视觉传感器的最新进展。在工业机器人领域，视觉的一个广泛应用是识别物体的位置和方向，配合机器人进行精确抓取，精度要求达到约0.01毫米。

当我们谈论工业机器人的视觉传感器时，其实是在讨论整个视觉传感系统，这其中涵盖的不仅仅是可靠性问题，还包括维护和长期检测的过程。新的硬件方案或产品需要经过长时间的检测才能在实际应用中得到导入。视觉系统一般包括相机、镜头、光源以及视觉处理器。近年来，Smart Camera作为一种常用的传感器受到了广泛关注。

Smart Camera的典型应用案例大多采用基于PC的解决方案，如基恩士、康耐视和欧姆龙等。这些Smart Camera最初是在PC上利用对数字相机图像的采集和处理，再通过特定的视觉算法输出数据。例如，基恩士成功将其Smart Camera大量应用于苹果公司的检测设备中。这种Smart Camera的优势在于其紧凑的封装设计，使得镜头安装变得非常简单。它在算法上的优化和设备连接的便捷性也为其赢得了市场份额。

当前，大多数应用仍然基于2D工业相机，但随着技术的不断进步，3D视觉技术的导入成为一个明显的趋势。尽管目前3D视觉技术尚未达到相对成熟的阶段，但其潜力巨大，值得期待。在选择2D相机时，我们主要考虑的是应用场景、被测物体的大小以及所需的识别精度等规格因素。

随着技术的不断进步，我们期待计算机视觉在工业机器人和服务机器人领域创造出更多的可能性和价值。在科技领域，工业机器人已逐渐崭露头角，它们与自身的交互、与人的交互以及与环境的交互，共同构建了一个复杂而精细的制造体系。让我们深入探讨这些交互是如何实现的。

工业机器人的核心在于它们如何与自身进行交互，即机器内部的各个组件如何协同工作。这就像是一个高效的团队，每个成员（即机器人的各个部分）都需要能够理解和响应彼此的动作和状态。这种交互的基础是机器人内部的控制系统，它如同一个中枢大脑，通过算法和协议来协调机器人的各个部分，确保它们能够精确、高效地完成任务。

当工业机器人与人的交互时，情况变得更为复杂但也更为有趣。从2013年开始，李群自动化一直致力于研究和实现机器人与人的和谐交互。人与机器人的交互需要一种双方都能理解的语言。这种语言可以是简单的操作指令，也可以是复杂的编程代码，甚至是通过眼神和肢体语言进行的交流。这种交互的实现，依赖于机器人的编程和人工智能技术，使得机器人能够理解并响应人类的需求和指令。

再来看机器人与环境的交互。机器人身处复杂多变的环境中，需要能够感知并适应环境的变化。例如，如果机器人在生产线上发现产品出现大量异常，或者某个环节无法正常运行，机器人需要能够识别这种异常情况，并通过特定的方式表达出来。这种表达可以通过网络、串口、I/O等方式进行，也可以是通过机器人的一些动作来传达。这种与环境交互的能力，是机器人能够在各种环境下完成任务的关键。

工业机器人的三大交互——与自身的交互、与人的交互、与环境的交互，共同构成了机器人的核心功能。这些交互的实现，依赖于机器人的编程、人工智能、感知和控制等技术。随着科技的不断发展，我们期待工业机器人能够在更多的领域发挥更大的作用，为人类的生产生活带来更多的便利和效益。当我们从人的视角观察时，人类作为最高级的生物，具有通过工具传达信息和指令的能力。无论是通过用户界面还是简单的按钮操作，人都能精准地发出指令。人类还能通过触摸产生信息，比如在协作型机器人领域，与机器人的触碰甚至可能传达出“停止”的指令。

环境的 信息则相对被动，因为它们无法主动表达。环境的变化，如物料异常、温度湿度的波动，甚至突然断电，都可能产生未知的影响。在交互过程中，异常信息是最需要预先规划和响应的。

人与机器作为两个能主动交互的对象，虽然人类具有辨识和响应各种信息的能力，但人类也有其局限性：会疲劳、会受到情绪干扰，这些都可能影响信息判断的准确性。而机器虽然不够聪明，但其准确性取决于设计者的初衷和期望。

回到当前的问题，我认为在自动化环节的三方交互中，如果一切按照预定进行，那么交互并不是必需的。但实际上，意外总是会发生，交互的价值就在于如何处理这些意外。重要的是如何感知异常，并协商出应对机制。通过交互协商，最终目的是处理异常并回到原始的工作流程。在这个过程中，我们需要机器和人的紧密合作，充分利用各自的优势，共同面对并解决问题。这里有一个我们精心制定的方案，想要给大家展示一下。想象一下，这是一个简洁的生产线上下料工艺过程。

在图片的左侧，你们可以看到一个模拟的隧道炉，这是手机盖板生产的一个重要环节。在玻璃完成前端丝印之后，它会进入这个隧道炉，经过印刷油墨的工艺流程，以固定油墨。

在前端，工人们将丝印好的玻璃放置在传送带上。上料的速度达到了惊人的每小时1300片。这里有一个重要的工艺要求，因为隧道炉中有烘烤环节，所以传送带是不能停止的。

那么，我们现在的自动化改造目标是什么呢？我们的目标是将从隧道炉中烘烤完的玻璃安全地转移到料盘中。

这项任务并不简单。由于空间限制，隧道炉末端的空间非常有限，就像图中两个人所在的位置一样。在这个空间里，自动化设备需要快速地将每小时一千三百片的玻璃转移到料盘里。这就是自动化的工艺要求。想象一下，在这样的工作空间里，机器人每小时需要完成两千次操作。那么，这个自动化方案的难点和异常点在哪里呢？大家不妨思考一下。

让我们来展示一下我们最终的布局方案设计。我们构建了一个工作站，其中包括一条绿色的传送带，这条传送带连接着前端烘干机，承担着重要的物料传输任务。在这个工作站中，前端配备了一个先进的视觉框架，能够动态识别玻璃的位置和转向。而在末端，则有一系列精密机构确保下料料盘的顺畅周转。在实际操作中，我们面临了以下几个挑战：

1. 瞬时生产速率问题：烘干机前端采用人工上料，但人工生产状态易受时间影响。在工人状态极佳时，瞬时生产效率可能远超预设的1300uph。当瞬时uph超过2000时，机器人如何应对？这是一个我们需要解决的关键问题。

2. 视觉识别误差：我们的视觉系统主要用于辨识传送带上的玻璃。但在实际操作中，可能会出现一些识别误差。例如，混料、玻璃贴合等情况都可能导致视觉系统无法准确识别玻璃。这种识别误差可能导致机器人无法抓取玻璃。

3. 下料问题：当下料时，若料盘已满而新的料盘尚未到位，我们应如何处理传送线上的玻璃？这是一个物流协调的问题，需要我们找到合理的解决方案。

4. 料盘与玻璃的放置精度问题：传送带的宽度达到一米二，视觉相机在这一宽阔的视场范围内可能遇到边缘畸变问题。这可能导致吸取的玻璃位置出现偏差，可能大于两毫米，使得玻璃无法顺利放入料盘。

5. 吸盘问题：如果吸盘损坏或变形，即使机器人定位精准，也可能因为吸取的玻璃位置偏移而无法放入料盘。

这些在实际生产中可能出现的异常情况，无论是物料问题还是人工配合问题，都需要我们及时发现并妥善处理。这些挑战不仅关乎生产效率和产品质量，也关乎整个生产线的稳定运行。探索未来机台：李群网站上的全新视频呈现

你是否想过，那些在我们日常生活中频繁出现的机械是如何在生产线上逐渐成形？如果你感兴趣，那么请前往李群网站，那里有一部详尽展示机台运作的视频等待你的观看。视频中，你会看到我们最后生成的机台的样子，感受其高效与精准的魅力。

在这台机台中，我们不仅仅对传送带进行了可控功能的优化。面对可能出现的玻璃来不及抓取或流出的情况，传送带能够智能停止运作。为了确保玻璃不会掉落进缝隙或其他地方造成废品，我们设计了一个回送传送带。这一切都是为了确保生产过程的流畅与高效，尽可能地减少损失。

在精度方面，尽管由于前端视觉变形或吸盘吸取位置差异所带来的问题无法完全避免，但我们通过增加飞拍功能在机器人吸取后放置的过程中进行位置识别调整。这一功能确保机器人在运动时能够同步识别玻璃在吸盘的位置，使玻璃能够准确无误地放置在托盘的相应位置。

这个过程中，所有的交互都是被精心设计过的。我们的系统能够感知交互中的信息，并采取相应的策略进行响应。在面对当前车间由批量生产方式转向柔性生产的问题时，我们的产品也有所建树。虽然目前客户首先考虑的是对已经批量生产的产品的自动化改造，但我们正在积极应对那些小批量、多品种但属于同类产品生产状态的自动化改造需求。柔性生产的核心在于实现不同产品间的快速切换以及在多种工艺中的配置化转换。我们致力于为客户提供更高效、更灵活的解决方案，满足他们日益增长的生产需求。将一条线性的生产流程巧妙地转化为环形加工，这并非简单的复制粘贴，而是根据每位客户的独特产品形态与工艺特性量身定制的生产方案。以我们最近完成的一个项目——月饼盒包装线为例，这条后包装线的运行视频可以在我们的网站上直接观看。

让我们深入了解这条后包装线。在图片上方，你会看到一个醒目的红色机器人，它标志着这条生产线的起点。它的首要任务是从卡板中取出铁盒装的月饼盒子，并将其分批放置在生产线上。

面对供应商提供的空盒铁罐，我们发现盖子和盒子紧密相连。在装入月饼之前，我们必须先分离它们。为了确保这一过程顺利进行，我们在机器人吸取玻璃后增加了飞拍功能，这是我们自己研发的技术。这一功能使机器人在移动过程中能动态识别玻璃在吸盘上的位置，并进行精确的位置校准，保证玻璃完好无损地放置在指定的吹盘位置上。

接下来的步骤是开启盒子。同样地，由于包装要求极高，客户希望盖子和盒子的花纹能够完全对齐，这就需要我们按照特定的规范进行配对。在完成开盒动作后，我们会启用一个视觉工作站，对各种花纹进行精细的调整。

这条生产线充满了科技含量和人性化的设计，它的每一个环节都是为了最大程度地满足客户的需求而精心设置的。通过我们的努力，客户能够享受到高效、高质量的生产服务，这也是我们一直追求的目标。

走进柔性工作站：月饼自动化生产线的革新之旅

沿着这个图看，传送带的左侧，你会看到两台带有蓝色圆圈的Deta机器人，它们正在忙碌地进行月饼的快速分拣。在这一包装生产线上，它们扮演着至关重要的角色。 生产过程中的一大要点是确保月饼上的花纹与盒子及盖子的花纹完美匹配。为了实现这一点，我们必须对月饼的花纹进行精准识别和排序。这不仅要求人工的智慧，更依赖技术的精准。 接下来，经过排序的月饼被精准地放入盒子中，然后盖上盖子。每16盒月饼被整齐地放入一个箱子，随后完成封箱、称重和码垛。这就是整个自动化生产线的流畅运行过程。 目前，这条生产线尚未与前端生产完全连接，因此还需要两名工人将前端生产好的月饼放置到产线上。超市中常见的纸盒装、礼盒装以及散装月饼，在这条生产线上并不适用。 我们的柔性工作站主要针对铁盒装的月饼。不同的口味或包装上的不同花纹，都能在这里实现零切换的工作转换。只需通过软件的选取配置，我们就能顺利完成整个产线的工艺调整。 实现这样一个柔性的工作站，我们对客户的工艺进行了大刀阔斧的改造。回想最初，客户的包装流程可能需要28个工人手动完成一系列繁琐的任务。而现在，这一切都可以被自动化生产线高效完成。 这不仅提高了生产效率，也为客户节省了大量成本。未来的自动化生产线将更智能、更高效，我们期待着为更多行业带来这样的变革。人的多重角色：操作与检查

在构建工作站的过程中，人的作用远超过单纯的操作。检查月饼袋是否打开、盖子是否盖好，这些细致入微的工作都离不开人的观察与判断。为了深入理解并实现客户的工艺要求，我们耗费了大量时间重新学习并理解每一个工艺细节。哪些是必须坚守的，哪些是可以优化的，这些都经过深思熟虑。随后，结合对自动化的理解，与客户共同商讨，最终形成了既符合客户需求又具备高效自动化的解决方案。

柔性的挑战与实现

当前的机器人技术虽然融入了视觉和信息技术，但仍难以完全模仿人类的灵活性和应变能力。例如，班组长的即兴决策可以迅速调动人员行动，而自动化系统在响应速度上仍有局限。我们追求的柔性是在一定范围内的。实现柔性，不仅要考虑工艺本身的灵活性，还要考虑如何为这种灵活的工艺找到合适的自动化实现方式。在相互切磋、交流的过程中，双方共同探索出效率最高、柔性最大的整体工作站方案。

CV应用在工业机器人上的挑战

Q：作为应用机器人视觉的客户，你们在应用过程中遇到了哪些问题，又是如何解决的？

我们在使用视觉产品时面临的最大困扰是光源方案的要求极高。视觉产品的稳定性与图片质量深受光源方向影响，进而影响到最后处理的效果。光源方案的选择并不固定，即使是同一类产品，不同批次、不同材料都可能导致不适应，产生不稳定因素。这在实施过程中给我们带来不小的麻烦，频繁更换光源方案并不现实。我们正在寻找更为稳定、适应范围更广的光源方案，以应对这一挑战。经过深入研究，我们面临了一项重要测试任务——对PCB板进行测试。在检测过程中，我们发现不同PCB板的工艺细节存在显著差异，比如防护漆的亮度和质感。有的防护漆亮丽如镜，有的则呈现出漫反射的亚光效果。这些微妙的差异在不同光源下表现得尤为明显。

接下来，我们主要依赖的是基于二维视觉的检测技术。在高精度的视觉应用中，标定的质量对整体方案的精确度影响巨大。但遗憾的是，当前的标定过程并没有一种快速有效的方法。每次更换夹具、进行设备维护或搬运时，可能都需要重新进行视觉标定。这对客户现场的工人和设备工程师来说是一项挑战，因为他们中的大多数并未接受过专业培训。我们的服务工程师经常需要亲临现场，帮助客户完成这一常规任务。我们急需一种能快速标定甚至无需标定的视觉方案，以简化流程和提高效率。

我们都在热切期待视觉缺陷检测在自动化行业的广泛应用。缺陷检测是整个行业的一个巨大空缺。以手机玻璃为例，划痕的种类千变万化，不同厂家对划痕的容忍度也大相径庭。这部分的挑战在于，创建一个标准化缺陷检测工艺几乎是不可能的。

我们迫切需要一个更智能、更灵活的视觉系统，能够适应各种复杂的检测环境，快速准确地识别并分类缺陷。这不仅将提高生产效率，还将大幅降低运营成本，为客户创造更大的价值。我们期待着这一领域的突破性进展，带领我们进入全新的自动化视觉检测时代。在自动化生产的浪潮中，我们常常听到关于机器取代人的讨论。但实际情况真的如此简单吗？实际上，在生产流程中，除了简单的物料搬运，人还扮演着重要的角色——缺陷检测。机器虽然强大，但在面对复杂的缺陷时，仍然难以完全替代人的视觉和大脑。

想象一下，如果生产线上存在十个缺陷，即便解决了九个，还有一个无法解决，那么那个依靠人工检测的工序仍然不可或缺。缺陷检测的真正难题在于，每个缺陷的形态和原因都各不相同。现有的方法，如使用开源算法OpenCV或深度学习库HOken等，虽然在一定程度上有效，但在面对复杂多变的缺陷时，这些系统很难做出智能的判断和经验积累，难以做到完全可靠的缺陷辨识。

那么，面对这三个迫切的需求，我们如何应对呢？我们会与供应商和合作伙伴进行大量测试，确保方案的可行性。在这个过程中，我们会主动设置可能影响稳定性和鲁棒性的干扰因素。通过预先完成这些测试和评估，我们能在设备设计阶段就规避潜在的问题。这不仅确保了设备的稳定运行，更为后续的设计提供了宝贵的参考。通过这种方式，我们努力确保在自动化生产的浪潮中，不仅追求技术的先进性，更注重实际应用中的稳定性和可靠性。在这个过程中，虽然我们还无法完全解决视觉领域的难题，但我们会继续努力，寻求更好的解决方案，为自动化生产注入更多的智慧和力量。关于理想状态，我们目前还在探索之中，视觉呈现方式似乎还有一段漫长的发展路程。要完善这种视觉产品的定义和开发，需要视觉和自动化领域的专家携手并肩，深入剖析我们所面临的问题和客户真实需求，共同为产品重新规划和定义。我们一直在思考，是否可以借鉴生物学的灵感，为视觉算法注入新的活力。目前，很多工作集中在针对每个缺陷或特征进行建模、描述和计算上。这样的模式是否可以更加灵活和高效，是我们正在思考的问题。

对于国内机器人厂商没有核心技术的现状，我深感核心技术的重要性。没有核心技术，企业可能面临困境。我们不必过于焦虑。机器人行业在中国仍处于起步阶段，所有企业都需要对行业定位和技术方向进行明确。核心技术的积累和发展需要时间，不能一蹴而就。现在计较国内厂商是否拥有核心技术可能还为时过早。

现在很多厂商宣称拥有核心技术，但我们需要审慎评估这些技术的真正水平。真正的核心技术需要在实际应用中经受考验，需要持续的研发和投入。我们应该更加关注那些真正在核心技术上投入精力、取得实际进展的企业。我们也期待更多的企业能够重视技术研发，推动机器人行业的持续发展。一直以来，人们常将减速机、电机和控制器视为机器人的三大核心技术。那么，未来的机器人是否仍然依赖这些传统核心？如果我们获得了所谓的核心部件，它们是否真正具备实用价值？对于这些问题，我深感市场的验证和时间考验的重要性。

更值得关注的是，国内厂商对于机器人行业的深度思考以及他们的行业定位。他们是否清晰地认识到未来发展的路径和核心的技术路线？他们是否正在投入努力，进行实质性的研发和实践？这些都是更为关键的问题。

在本次硬创公开课中，石金博为我们带来了机器人技术的实践分享。他详细介绍了计算机视觉（CV）在工业机器人和服务机器人上的不同应用，并指出工业机器人在与自己、与人、与环境交互过程中，最大的挑战在于如何处理意外情况。

石金博还以丰富的实战经验为我们展示了当前工业机器人的柔性自动化现状。她指出，现在的自动化还无法实现完全的柔性自动化，我们所追求的柔性是在一定范围内的。这意味着，在实际应用中，我们需要根据具体情况灵活调整和优化机器人系统。

作为应用机器人视觉的客户代表，他们还分享了在视觉产品方面的实践经验。他们表示，目前视觉产品对光源方案的要求极高。二维视觉中标定的质量直接影响整个方案的精度。视觉缺陷检测也存在诸多问题。这些真实的经验和反馈让我们对工业机器人有了更深入的认识。

工业机器人不仅仅是一个简单的生产线自动化工具。它更像是一个平台级的产品，需要处理各种交互难题，以适应不断变化的生产需求。通过本次公开课，读者朋友们对工业机器人有了全新的认识，意识到它不仅仅是为了完成重复任务，更是在面对复杂环境和多变需求时展现其适应性和灵活性。