Labs 导读
目前，在公共场景和个人应用场景中，监控摄像头安装总数已经超过了1.75亿，但大部分均为普通摄像头，通过监控录像实时存储和事件发生后调取查阅的方式被使用，它们缺少自主认知和决策的“大脑”，无法避免危险事件趋于恶化。在此背景下，具有智能视频行为分析功能的跨境追踪系统就显得尤为重要。本文将从跨镜追踪系统内部实现的角度展开论述，介绍跨镜追踪系统的核心功能及其应用场景。
1、跨镜追踪技术背景
跨镜追踪系统，主要利用行人重识别技术依据人物穿着、体态、发型等信息来判断图像或视频序列中是否存在特定的行人，可与人脸识别技术相结合，解决跨镜头场景下在人脸被遮挡、距离过远时的人物身份识别。
2、跨镜追踪的研究意义
跨镜追踪系统通过实时、自动化分析视频流中人物身份信息，能够实现对特定人物跨时间、跨空间的布控追踪和即时定位，对公安监视追踪嫌疑人、物业排查可疑人员等提升工作效率均有帮助，能减少因时间成本造成的事态恶劣化，且能极大程度上避免工作人员因倦怠、脱岗等因素造成误报和不报的情况，可切实提高监控区域的安全防范能力。由于监控系统场景中人脸多数情况下不清晰，因而业界普遍采用行人重识别(Person Re-Identification, 简称ReID)算法实现跨镜追踪，其对人脸清晰度、人脸角度、摄像头位置的敏感度等方面要求较人脸识别要低一些。在今年爆发的新冠肺炎疫情期间，基于ReID技术的一套跨镜追踪系统就为疫情防控立下了功劳，因此ReID算法也备受关注。
3、跨镜追踪的研究难点
配合式场景人脸识别近几年已逐步商用化，但在视频监控场景下，人脸质量往往不高或存在人脸不可见现象，因此多数情况下人脸识别无法发挥作用，而ReID算法实际场景下准确率也较低，仍存在不少研究难点，总结如下：
1、行人数据严重缺失
由于涉及到隐私，且收集行人数据时需要在不同镜头下采集同一人同时间段内出现的画面，导致数据集构建受到限制，数据的缺失是跨镜追踪技术无法快速突破的首要难点。
2、实际应用场景复杂
相比于人脸，人体由于具有多个肢体关节点，在实际监控场景下人物会以各种姿态、角度出现在镜头中，增加了人体检测和识别的难度，加上不同时间段光线的差异、建筑物的遮挡等，都对人物身份的准确识别提出了挑战。
3、变装场景下失效
主要依靠提取人物衣貌外观特征来实现人体识别的行人重识别技术无法直接用在变装场景下(如季节性换装)，目前只能支持小范围内的短时搜索。
4、跨镜追踪系统构成
为克服ReID算法自身限制，充分发挥其优势，实现对视频画面中人与物的实时定位，我们采用将人脸及人体技术相结合的思路。通过将人脸与人体技术相融合，并结合动作识别，使系统能通过摄像机实时自动的识别人物，发现“警情”并主动“分析”，对已经出现或将要出现的安全威胁，及时向安全防卫人员发出警报，切实提高监控区域的安全防范能力。该系统主要涉及到如下技术点：
- 人脸识别
- 行人重识别
- 动作识别
- 动态人体库更新
- 人脸属性及人体属性识别
- 多路流并发异步处理
- 陌生人员库动态更新
5、跨镜追踪系统建设
跨境追踪系统通过接入经过标准统一化的RTMP视频流，采用跳帧处理机制对上述多种算法功能模块进行多线程异步调用，同时通过共享内存记录当前实时画面帧来实现视频画面的实时解析处理，系统业务流程图如下所示：
下面主要针对几个核心模块做详细技术介绍。
6、动态人脸识别模块
人脸识别处理流程图如下所示：
不同于闸机、门禁等静态刷脸场景，视频监控属于动态人脸识别应用场景，人物运动模糊和人脸遮挡的情况经常出现，人脸角度多为偏俯拍情况，光线也更复杂。目前在动态监控场景下，业界人脸识别算法万分之一误识率下的准确率也只达90%左右，相比静态场景的99.9%还相差较大。但由于视频监控领域不涉及到支付交互和认证交互，业务场景本身对人脸识别的准确度具有较为宽限的容错度。针对动态场景下的人脸识别准确率过低的问题，我们主要从人脸检测和低质量人脸识别两个维度进行改善。
1、增强人脸检出率
数据准备：为增加动态场景下的人脸检出率，模拟动态人脸识别场景数据，在训练数据中增加由多种旋转角度因子生成的图片，包括侧脸、正脸、旋转脸，并分别增加暗光、强光、模糊、遮挡等影响因素。
网络模型：网络设计上采用基于SSD的多尺度特征融合方法，以解决跨尺度及人脸过小的检测问题，并结合Inception和RFBs的思想，增加多类型卷积核，使特征提取信息丰富化，对光线、遮挡、模糊的适应能力提升。
2、低质量人脸识别率提升
数据准备：人脸识别算法极大程度上受限于数据量，我们采用增加旋转、平移、遮挡、光照、模糊因子等方式生成自造人脸数据，以训练得到更高性能的模型。
通过自造数据可以丰富每个人物id的数据广度，此外为同时有效提升戴口罩面部识别效果，基于面部关键点算法拟合出人物戴口罩图片，如下所示：
网络模型：在网络模型结构设计上，基于arcloss进行人脸特征提取训练，为进一步提升戴口罩人脸的识别性能，在训练人脸识别时增加人脸遮挡判断项，在面部有遮挡时，能够将特征提取关注点集中在未遮挡部位。同时，建立业务层面辅助措施作为备选，采用双底库策略和多模型策略，针对戴口罩情况单独做识别处理。
戴口罩情况人脸识别算法优化策略示意
7、行人重识别模块
行人重识别算法的原理同人脸识别类似，通常采用表征学习或者度量学习得到特征提取模型，目前在公开数据集Market1501上算法的Rank-1最高记录在98%左右，业界平均水平也已达到92%左右。但在实验环境下一定程度上存在过拟合，实际场景下的效果仍不理想。
1、与人脸识别算法相结合扩大使用场景
为达到较好的行人重识别效果，我们将其与人脸识别相结合，实现实时动态创建行人库，满足对目标人物的360度追踪，使其在变装场景下也有效：
- 在换装场景下，基于人脸识别创建人体图像库，在监测到同一人衣着不同时进行行人库的及时更新;
- 在人脸分辨率过低、人脸不可见的情况下，基于人体重识别进行人物追踪定位，使系统满足在复杂场景下的人物实时追踪。
同时增加人脸属性、人体属性以得到一些辅助标签，减小搜索范围，使在人脸不完全可见的情况下，ReID仍能有效工作。
2、模型识别率提升
在实验中仍然从两个维度提高模型准确率，一个是数据，一个是训练策略。
数据准备：为增加训练数据，我们结合语义分割算法，采用将人体着装进行区域划分后重新着色的方式，增加人物id，但这种方法依赖于语义分割算法的准确性，且出现不同id衣服颜色重复的情况会造成干扰，无法大批量生成。另外我们使用不同的行人重识别数据集分别作为源域和目标域训练风格迁移网络，将不同数据集中不同镜头拍摄的数据风格进行相互转换，然后进行随机数据擦除处理，由此数据量可获得成倍增加。
模型训练及策略：在网络训练中，采用ID分类损失与Triplet损失相结合的训练方式，使模型既能兼顾类间距离，又能同时收敛类内距离。在推理测试中，采用余弦距离计算的方式，其更易于区分提取到的人体特征向量，相比欧式距离的结果，rank-1指标可提升1%。
8、动态人脸库管理模块
通过动态创建人脸库的策略，可以提升对陌生人员的管控效率，将陌生人员的记录查询范围降低了至少2个数量级，同时可实现对任意目标可疑人员的快速查找与定位分析。由于陌生人员的记录数据量会随时间积累逐渐增多，直接在所有记录中查询陌生人的识别记录耗时非常大。通过在人脸识别后增加质量判断，将人脸质量合格的陌生人员添加至陌生人库中进行管理，此方式能够很大程度上节约搜索耗时。当搜索陌生人记录时，只需要将待搜索人员图片与陌生人底库做一次特征匹配即可，可实现百万量级图片全量搜索、秒级响应。
9、小结
跨镜追踪系统作为智能化安防、智能化监控场景下的通用解决方案，已在中国移动智慧家庭运营中心园区内落点试用，后续会借助中国移动运营商的市场和品牌优势，打通与更多的摄像头及硬件设备厂商在各个环节的业务协同合作渠道，通过省公司的落地辅助，打造一套软硬一体化的智能化监控管理体系，并可从智慧园区、智慧社区拓展到居民社区、办公楼宇、工业园区、旅游景区、学校园区等场景中，增强人员管控和区域安全性，为打造良好社会环境、打造智能化生态圈持续发力。
【本文为51CTO专栏作者“移动Labs”原创稿件，转载请联系原作者】
