计算机视觉在安防、交通、机器人、无人车等领

计算机视觉，一个融合图像处理与多个技术模块的领域，主要包括成像、检测、跟踪和识别。在深入研究这些技术模块后，我们会发现其背后的应用才是真正的核心。

在过去的万字实录中，格灵深瞳的赵勇详细阐述了计算机视觉在安防、交通、机器人和无人车等领域的应用。从2003年开始，计算机视觉领域经历了飞速的发展。

赵勇博士从半导体领域转行到计算机视觉，见证了这一领域的变迁。当时，计算机视觉主要应用在军事、医疗和工业这三个领域。军事领域中，计算机视觉在导弹等先进武器中发挥着关键作用，如战斧导弹的视觉定位、目标寻定等。医疗领域也广泛应用了计算机视觉技术，包括各种诊断工具和设备。工业视觉在工厂流水线上的检测和组装工作中扮演着重要角色。

那么，过去的十三年里，计算机视觉领域发生了哪些变化呢？从应用角度看，计算机视觉的产品已经渗透到我们生活的方方面面。无论是安防系统的面部识别，还是交通领域的自动驾驶，都离不开计算机视觉技术的支持。从技术进步的角度看，随着深度学习、神经网络等技术的发展，计算机视觉的性能得到了极大的提升。如今，无论是成像质量、检测速度、跟踪精度还是识别率，都已经达到了前所未有的高度。

回到十三年前，计算机视觉的应用虽然广泛，但其工作环境往往相对简单，任务也比较单一。而如今，随着技术的发展，计算机视觉的应用已经越来越广泛，其工作环境和任务也变得越来越复杂多变。例如，在无人车领域，计算机视觉需要应对各种复杂的路况和天气条件；在机器人领域，计算机视觉需要实现精准的目标识别和跟踪；在安防领域，计算机视觉需要实现高效准确的面部识别和行为分析。

走进计算机视觉的奇妙世界：从昨天到今天的变革与未来展望

回望十三年前的计算机视觉技术，它主要在一些专业领域如军事和医疗中发挥着重要作用。那时的应用环境相对简单，更多的是为专业人士提供辅助工具，进行成像和数据增强。尽管这些算法并不复杂，但产品却异常昂贵。这也符合科学发展的规律：新技术从简单到复杂，从昂贵到廉价，应用领域也逐渐扩展。

而今，计算机视觉技术迎来了翻天覆地的变化。它不仅进入了非专业领域，更与消费者的生活息息相关。如今，计算机视觉技术开始解决更为复杂的问题，这些问题往往在无监督的环境下出现，比如在汽车、机器人等领域。这些领域面临的是真实复杂的世界，充满了各种挑战。

设备的自主性也在不断提高。现在，这些设备可以基于视觉感知做出许多基本决定。这意味着今天的产业环境与过去截然不同，尤其是对于那些进入计算机视觉或人工智能领域的创业公司来说，他们需要面向的是一些新兴行业。

在这个时代，我认为四个领域特别值得关注：安全、汽车、机器人和智能医疗。这四个领域不仅产业规模巨大，而且与现实生活的联系也非常紧密。除此之外，还有许多其他应用领域，如娱乐、动作捕捉、VR、广告等。

接下来，我们来深入探讨一下计算机视觉的相关技术。首先是成像与运算摄影学。许多人认为成像只是简单的按下快门，然而事实并非如此。成像是一个广义的概念，涉及到电磁波的运用。电磁波是帮助我们感知周围环境的宝贵工具。在计算机视觉领域，我们不仅要关注可见光的波段，还要探索紫外线、红外线、thermal波段等更广泛的电磁波范围。

今天，我要给大家介绍一个概念：运算摄影学。通过运用各种电磁波手段、算法和多种传感器的融合，我们可以产生新的感知数据。在这个领域里，一些先行者不甘于接受传统的RGB传感器提供的数据，他们发明了各种各样的新型相机。这些相机能够捕捉到我们肉眼或传统相机无法看到的内容。例如，深度摄像头可以为我们提供珍贵的深度信息，使得检测、跟踪和识别变得更加简单可靠。获取深度信息的方法有很多种，如结构光、激光雷达等。

接下来让我们看一下两个具体的应用场景：光场相机和Femto Photography相机。光场相机可以捕捉到眼睛瞳孔前成像平面上所有的光学行为，为我们带来四维的光场数据。而Femto Photography相机则为我们提供了一种全新的摄影方式，让我们能够更深入地探索计算机视觉的无限可能。

Femto，这个看似神秘的词汇，实际上代表着一种革命性的成像技术。通过传感器与算法的完美结合，它成功地将成像速度提升至光的频率级别，几乎达到了极限。我们可以将其理解为一种时间和频率的魔法度量，精确到令人难以置信的10的负15次方级别。Femto Photography这一技术的诞生，使得我们观测光的速度和纬度得以飞跃。想象一下，光从A点移动到B点的连续过程，我们是否有一种相机能够捕捉到光自身的运动呢？尽管这听起来像是一个科幻命题，但实验已经证明了一切。

有一个令人惊叹的实验，捕捉了一束闪光灯从发出到穿过可乐瓶的整个过程。通过有趣的光学和算法组合，我们得以更好地理解了光学行为。在工业界，这种技术有着广泛的应用。例如，Femto Photography还能够帮助我们绕过墙角，窥探背后的场景。这一切都是基于Femto技术的神奇魅力。

接下来，我们要探讨的是定位的传感技术。利用光学传感器，我们能够清晰、精确地获取自己在三维空间中的位置。在VR领域，这种技术的运用至关重要。想象一下，当我们在一个房间或空间中移动时，如果能够迅速、精确地定位头盔的位置，那么我们就可以实时更新视角，让VR体验更加真实。而这一切的实现，得益于一种古老的运算摄影学原理。

我最喜欢的一种VR定位技术是由Valve公司研发的Lighthouse技术。这项技术授权给了HTC，使得HTC的虚拟现实头盔体验成为市场上的佼佼者。它的核心原理是空间编码技术。通过一个转动的激光投影仪，将空间编码发送到空中，再由Photo Sensor接收信号，解读出空间编码，从而精确获取位置信息。

还有一种令人着迷的成像技术，能够让我们观测到空气的流动。大多数空气是透明的，当它们流动时，我们无法看到它们的变化。有一种运算摄影学技术——Schlieren Optics能够帮助我们清晰地观测到空气的流动。这种技术在实验室中非常有趣，比如测量打喷嚏能够打多远。更令人兴奋的是，工业界已经开始用Schlieren Optics分析空气动力学，无需任何外在物质，只需通过这种光学设备，就能看到空气在物体表面上的流动情况。甚至美国的一些武器公司用它来检测自己设计的或其他飞行导弹的冲击波效果。

当今计算机视觉的应用广泛而深入。在安全领域，视频监控系统已经深入到我们的日常生活中。摄像头、传输网络、存储器、显示器这四个模块构成了一个巨大的市场。而且随着技术的发展，我们正在逐步从视频系统过渡到视觉系统，让计算机能够理解和解析视觉信号。在汽车和机器人领域，计算机视觉也发挥着重要作用。例如，格灵深瞳公司在安全、汽车、机器人等领域的产品和项目正在不断推动这些行业的发展。

这些技术正在改变我们的生活和工作方式，让我们能够更好地理解和利用周围的世界。随着技术的不断进步和创新，我们有理由相信未来会带给我们更多的惊喜和可能性。去年，中国的安防市场已经达到了惊人的规模，市场规模达到了人民币4500亿，这个产业甚至比智能手机产业还要庞大。尽管安防市场的规模庞大，智能分析仍然在其中占据着一个相对较小的位置，这主要是因为算法尚未完全成熟，以及我们现有的安防基础设施的局限性。

当前的安防产品形态并没有为智能理解提供足够的空间。例如，计算机视觉技术需要获取大量的数据。现有的安防数据大多存储在录像机中，如数字录像机（DVR）和网络录像机（NVR），甚至在某些地方仍在使用模拟录像机。这种数据存储方式使得数据的提取和处理变得困难，阻碍了计算机视觉技术在安防领域的广泛应用。我们期待未来能有更先进的基础设施出现，将所有的摄像头连接到云端。在云端，我们可以加载计算机视觉算法，接触并分析所有的数据。

在安防领域，车辆、行人和脸部识别是最关键的三个要素。如果能够清晰地识别和分析这三个要素，那么安防工作就能取得重大进展。除此之外，还有跨摄像机识别的挑战，即当物体从一个摄像机转移到另一个摄像机时，需要对其进行连续的跟踪和识别。为了深入理解个体的行为，我们需要分析他们的姿态和动作。变化检测也是非常重要的一个方面。

在所有这些挑战中，有一个至关重要的问题亟待解决：如何在监控系统中清晰地捕捉到一个目标。我曾经遇到一个公安部门的客户，他们持有一段模糊的视频，视频中的人在建筑物门口走出后远离了摄像机。在这个模糊的画面中，这个人只有大约不到十个像素高，几乎无法看清其面貌。警方希望我们能找到一种技术增强视频质量，以帮助他们更好地识别这位嫌疑人。然而遗憾的是，如果数据在采集阶段就丢失了，后期处理几乎无法恢复。因此我们需要开发一种新型的相机，即使在广角镜头下也能捕捉到远处的清晰图像。遗憾的是目前市场上的相机还远远达不到这种要求。

想象一下拥有一台高清摄像头的重要性。即使在今天标准高清摄像头的分辨率已达到1920×1080像素的情况下仍然如此。然而在面对监控场景时例如在相对较大的广角（70-80度）下现有的摄像头很难捕捉离相机距离较远的人脸图像。在距离相机仅几米远的情况下人脸可能只能在一个较小的像素范围内成像这大大降低了人脸识别效率尤其是在更大的距离范围内几乎无法看清人脸。这种情况限制了我们在安防领域的人脸识别能力急需改进。为了解决这个问题我们需要一种新型的相机能够在大广角的情况下仍然捕捉到远处的清晰图像这对摄像头的有效分辨率要求极高但目前市场上的产品远远达不到这一要求。我们希望未来能有更先进的技术解决这一问题从源头提高图像质量以提高人脸识别和监控的效率。未来技术的发展将极大地推动安防产业的进步保障社会的安全与稳定。与此同时在汽车领域计算机视觉技术也在自动驾驶汽车中发挥着重要作用为未来的智能交通和自动驾驶提供有力支持。在当今的智能汽车视觉公司市场中，主要存在两大类别：一类是专注于先进驾驶辅助系统（ADAS）的公司，另一类则是致力于自主驾驶技术的公司。ADAS公司的主要职责在于为驾驶者提供与安全相关的提醒，起到驾驶辅助作用。而自主驾驶技术则更进一步，涵盖了辅助驾驶、自动驾驶和无人驾驶三种形态。

在中国，虽然存在大量的ADAS公司，但真正的自动驾驶公司却为数不多，其中大多数是具备汽车制造能力的汽车电子行业公司。而在自动驾驶领域，视觉感知扮演着至关重要的角色。

视觉感知在防碰撞中起到关键作用。通过计算机视觉技术，系统可以识别出所有可能被碰撞的物体，并为汽车提供安全决策的依据。目前市场上的一些传感器如激光雷达和毫米波雷达在防碰撞方面表现出色。而在驭势科技，他们主要使用深度传感器来恢复物体的点云，并将其呈现给决策系统。我们的方案以物理传感器为主，计算机视觉为辅，二者相互独立，形成互补系统。

除此之外，交通理解也是视觉感知在自动驾驶中的另一重要应用。这包括识别道路要素、交通标志、交通灯等。虽然今天用计算机视觉检测这些静态交通单元的准确度越来越高，但我仍认为这些信息完全可以通过无线传输方式传给车内。未来，随着汽车与基础设施的通讯变得更加普遍，“v2i”（汽车与基础设施通讯）将成为新的发展方向。地图信息将包含所有路标，而汽车将通过有效的通讯方式获取周围环境的实时状态。

那么，为什么在防碰撞已经有其他方法的情况下，我们还需要检测物体的种类呢？这是因为物体的种类与我们的驾驶决策息息相关。以十字路口的左转为例，我们需要识别出周围的车辆和行人，以便做出正确的驾驶决策。类似地，当汽车在斑马线附近行驶时，必须能够识别出旁边的行人是否存在，以确保行车安全。

定位也是自动驾驶中不可或缺的一环。为了自主驾驶，汽车必须知道自己在哪里、应该朝哪个方向行驶。对于定位的高精度要求，行业内普遍期待能达到10厘米左右。目前比较成熟的定位方法包括通过高精度的激光雷达定位、全球定位系统和惯性测量单位组合等方式来实现精准定位。在自动驾驶的未来发展中，视觉感知技术将继续发挥重要作用，与其他传感器技术相结合，推动自动驾驶技术的不断进步。探索前沿技术：自动驾驶与智能机器人的视觉定位挑战及未来展望

在自动驾驶领域，精准的定位技术是确保行车安全的关键。当前，激光雷达和GPS RTK技术是主流的定位手段，但它们都面临着高昂的成本和复杂的使用环境挑战。激光雷达今天的价格依然十分昂贵，一个这样的雷达系统价值10万美元。而GPS RTK技术虽然在条件合适的情况下精度极高，甚至能达到几毫米，但在隧道、城市核心区域等复杂环境下信号不稳定。这些高端技术，尽管在特定环境下表现优秀，但其高昂的成本和固有的技术缺陷使得它们难以商业化普及。

这时，计算机视觉技术的重要性凸显出来。我们设想一种情景：是否有可能通过计算机视觉技术实现高精度的全局定位？这将是一项意义深远的创新，远比当前的防碰撞技术更为重要。

当前，我们在机器人视觉领域使用的定位技术，如visual slam和visual odometry，在小范围内表现良好。但要将其推广到全球范围，特别是在所有道路上应用visual slam技术，现有的算法仍显得不够可靠。格灵深瞳正在研发相关技术，希望实现这一目标。我们坚信，这是对无人驾驶技术最大的贡献。

转向机器人领域，服务型机器人是未来的一个关键发展方向。这些机器人将在家庭、办公室、餐厅、酒店等真实世界中与人们频繁互动。其核心视觉问题与自动驾驶汽车相似，包括防碰撞和定位技术。但更重要的是，它们必须具备出色的交互能力，能够观察、引导、跟随人类，并识别每个人的个体特征，明确谁是需要服务的对象，谁是主人。

理想的机器人应具备强大的视觉能力，能够在空间中对环境做出精确分析和定位。它们应该移动灵活，能够与人甚至宠物互动、玩耍，识别姿态、手势、面部等信息。我们期待未来服务机器人越来越智能，因为目前大多数服务机器人仍然显得相当笨拙。

随着技术的不断进步，我们期待看到更多创新解决方案突破现有技术的局限，推动自动驾驶和机器人技术的商业化普及，让未来生活更加便捷和智能。