腾讯优图攻克口罩识别难题，口罩佩戴识别准确

随着对抗新冠疫情的战役正式打响，口罩对控制疫情起到了相当关键的作用，但全民佩戴口罩也对诸如高铁闸机等需要的场景提出了挑战: 戴口罩人群由于面部区域大范围被口罩遮挡，现有算法无法准确检测人脸位置、定位五官关键点，大大降低现有的算法效果。，在公共场所摘下口罩靠人工排查，不仅耗费大量人力、排查效率低，也增加了一线工作人员的感染风险。为了解决这一难题，优图在春节期间，迅速成立攻坚小组，针对不同戴口罩场景进行算法研发与优化，最终攻克难题。

口罩佩戴识别准确率高于99%，优图攻克口罩下人脸相关技术

优图在人脸检测、人脸配准（关键点定位）、人脸属性、等技术进行重点攻坚，目前可实时检测戴口罩人脸、精准识别五种不同的佩戴口罩情形，并对未佩戴口罩或错误佩戴口罩的人员及时发现预警。在此基础上，优图DDL技术进一步增强对人脸可见区域的判别能力，实现更鲁棒的。

在人脸检测方面，基于优图开源的DSFD人脸检测算法，针对戴口罩场景下的五官遮挡，优图在模型设计上进行局部特征增强，提升可见区域权重。针对口罩种类丰富、佩戴位置多样等问题，在数据增强方面设计相应策略，提升模型鲁棒性。目前，口罩场景下的人脸检测算法准确率超过99%，召回率超过98%。

不同遮挡情况下的人脸检测效果（图片来自网络）

在人脸配准（关键点定位）方面，为解决口罩带来的面部区域大范围遮挡问题，基于优图自研的多分支轻量，优图快速通过图像编辑技术合成海量人脸口罩数据用于算法优化提升，实现戴口罩人员的精准五官定位，有效辅助后续算法模块的效果提升。

左图优化前由于脸部大范围遮挡，导致人脸关键点定位偏差较大

右图算法优化后，算法可有效估计戴口罩人脸的正确关键点坐标

（图片来自MAFA数据集）

在口罩属性识别方面，目前优图算法可精细识别以下五种情形未佩戴口罩、错误佩戴口罩且遮挡嘴部、错误佩戴口罩且遮挡下巴、错误佩戴口罩未遮挡面部、正确佩戴口罩。该属性识别基于优图开源的FAN属性识别，并针对口罩可能分布的人脸位置，加入更多的attention机制，可精准识别人脸是否正确佩戴。目前，对有无口罩佩戴的识别准确率超过99%。社区管理人员等可根据不同场景下的需求，自由组合这些类别。，各企事业单位也可以利用该技术及时检测员工情况，保障安全复工。

可识别的五种戴口罩类型

在戴口罩方面，优图提供了一套灵活兼具安全与便利的算法解决方案。利用优图人脸质量模型对被口罩遮挡的人脸进行口罩遮挡判断以及遮挡区域提取两类分析。其中，口罩遮挡判断目前已达99.5%以上准确率。而对于安全性要求极高的应用场景，如支付场景，可基于口罩遮挡判断结果筛选出戴口罩或者口罩严重遮挡的人员，并进一步引导其进行其他方式的身份验证。该算法基于自研的DDL技术框架，结合优图人脸质量模型的遮挡区域判断能力，使数据模型在应对戴口罩人脸时，自适应地关注非口罩区域的人脸判别信息，从而提取出更加鲁棒的人脸特征。

优图DDL技术

常规的算法，即便是应用于配合条件下戴口罩时，性能也会极大程度地下降。而优图算法，基于上述的优化手段，可将戴口罩的召回率提升至接近正常的召回率，基本满足戴口罩场景下的应用。

结合口罩下的人体识别，辅助社区进行人员管理和排查

相较于技术，基于图像“搜人”的人体识别技术（ReID）对人体图像的遮挡、朝向以及清晰度具有较高的鲁棒性，对摄像头的清晰度、假设位置以及角度等没有硬性要求。

疫情期间，绝大多数外出人员均会佩戴口罩，技术对于佩戴口罩的人员成功率会有所下降。对于社区一线工作人员来说，技术对佩戴口罩的人员身份确认失败，会大大增加他们的排查登记工作量，而摘除口罩进行识别又会增加潜在的传播风险。

基于优图目前业界领先的ReID技术，优图联合海纳利用人体特征和相结合的方式，将传统方式下无法溯源的戴口罩出入人员进行确认，从而提升社区工作人员摸排登记外来人员的效率。

目前，相关技术已在多个不同地区的应用场景中陆续落地，在这场全民抗疫的战争中，持续发挥AI的价值。