3D人脸识别

9月11日，小米发布了全国首款支持人脸识别解锁的智能手机——Note 3；北京时间9月13日凌晨，苹果十周年纪念版手机iPhone X在万众瞩目下正式发布。正如此前业界所料，iPhone X取消了指纹识别转而使用苹果称为Face ID的人脸识别技术。苹果、小米的新产品均选择了人脸识别技术，这打破了在过去的一年里，手机行业热炒“人脸识别”却无人敢用的局面，基于智能手机上3D深度摄像头的席卷潮流，也为人脸识别技术提供了机遇。

人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，其可以定义为：输入查询场景中的静图像或者视频，使用人脸数据库识别或验证场景中的一个人或者多个人，通常也被称为面部识别、人像识别。人脸识别技术拥有一个不算漫长的历史，该技术研究最早可追溯到 19 世纪法国人Galton的工作。现代研究始于20世纪60年代末70年代初，并随着科学技术而发展。自90年代以来一直是研究热点，各种算法层出不穷，相关杂志上发表的有关论文数以千计。

国内在这方面的研究起步于20世纪80年代，受到了国家 863计划的大力扶持，发展很快。2000年以来，每年一届的“中国生物识别学术会议”极大地推动了包括人脸识别在内的生物识别技术水平的发展。

从技术角度来说，人脸识别经历了三大阶段：

第一阶段（1950s-1980s），人脸识别被当作一个一般性的模式识别问题，主流技术基于人脸的几何结构特征。

第二阶段（1990s），人脸识别迅速发展，出现了很多经典的方法，例如Eigen Face, Fisher Face和弹性图匹配，此时主流的技术路线为人脸表观建模。

第三阶段（1990s末期到现在），人脸识别的研究不断深入，研究者开始关注面向真实条件的人脸识别问题。

主要包括以下四个方面的研究：1）提出不同的人脸空间模型，包括以线性判别分析为代表的线性建模方法，以Kernel方法为代表的非线性建模方法和基于3D信息的3D人脸识别方法。2）深入分析和研究影响人脸识别的因素，包括光照不变人脸识别、姿态不变人脸识别和表情不变人脸识别等。3）利用新的特征表示，包括局部描述子（Gabor Face, LBP Face等）和深度学习方法。4）利用新的数据源，例如基于视频的人脸识别和基于素描、近红外图像的人脸识别。

虽然人脸识别技术经历了较长的研究阶段，但至今还是被认为是生物特征识别技术中较为困难的研究课题之一，其原因在于：

1、背景环境的复杂多样

在进行人脸识别前需要先对监控场景中的人脸进行定位，即人脸检测。人脸检测的正确与否直接影响人脸识别性能。当监控场景的背景较为复杂时，人脸检测率也会随之降低，因此能够适应复杂背景环境的人脸检测算法是人脸识别技术的难点之一。

2、光照条件的复杂多变

在智能视频监控系统的实际应用中，会由于监控环境光线的变化造成检测到的人脸图像存在不同的阴暗变化，如图1所示。FRVT2006测试表明，不同光照条件下人脸识别虽然在性能上比FRVT2002有显著提高，但是还没在根本上克服光照对识别率的影响。

图：光线变化对采集到的人脸影响示意图

3、人脸表情的多样性

在实际应用过程中，人脸的表情随时都可能发生变化。下图给出了部分表情变化的人脸图像。从下图可以看出，当人的表情发生变化时，可能会引起人脸轮廓以及纹理的变化，同时由于面部肌肉的牵引，面部的特征点的位置也会随之改变。不同的表情引起面部的变化都不同，此外，不同的人的相同表情影响也不相同，因此很难用统一的标准来精确划分各种表情对不同人的影响。

图：人脸表情变化多样性示意图

4、采集人脸的角度多样性

人脸的角度多样性主要是指由于拍摄角度的不同导致检测到的人脸图像的旋转，包括平面旋转和深度旋转。图3列出了部分不同角度拍摄的人脸图像。从下图可以看出，与表情变化对人脸图像的影响相同，拍摄角度的变化同样会导致人脸轮廓的变化，除此之外，由于角度的变化，可能会导致人脸的部分特征无法被正确提取，进一步导致人脸的错误识别。

图：采集人脸的角度多样性示意图

5、遮挡问题

即使是非人为故意遮挡，在实际应用时检测到的人脸图像也经常会出现如帽子、眼镜等遮挡物，除了这些，胡子以及刘海的变化也直接影响人脸的特征提取。当人脸图像发生遮挡时，人脸的很多信息会丢失，导致人脸识别算法出错或失效。

人脸识别系统主要包括四个组成部分：人脸图像检测、人脸识别预处理、人脸特征提取以及特征匹配与识别。

1、人脸图像检测

人脸图像检测是人脸识别过程的关键环节之一。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果有，则返回检测到的人脸图像的位置、大小以及姿态。人脸检测主要利用人脸图像的直方图特征、颜色特征、模板特征、结构特征以及haar特征等。

2、人脸图像预处理

预处理是指在进行人脸识别前，为了提高识别率，通过图像处理技术对检测得到的人脸图像进行的一系列图像质量提高。这些处理主要包括灰度校正、噪声过滤、光线补偿、直方图均衡化、归一化等。

3、人脸特征提取

人脸特征提取是对人脸进行特征建模的过程，提取方法主要分为两大类：基于知识的表征方法和基于代数特征或统计学习的表征方法。目前人脸识别技术中使用的人脸特征主要包括视觉特征、人脸图像变换系数特征，人脸图像代数特征等。其中基于知识的表征方法主要是根据人脸五官的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常是使用特征点间的欧几里得距离、曲率或角度等。基于几何特征的表征方法是指利用人脸五官之间的结构关系的几何描述进行人脸表征的方法。

4、人脸匹配与识别

匹配与识别是指利用上一步提取到的人脸特征，与样本库中存储的特征模板进行搜索匹配，在这个过程中，需要预先定义一个阈值，当相似度超过该阈值，则输出匹配结果。

人脸识别方法大致可以分为两类：基于2D人脸图像的人脸识别和基于3D人脸图像的人脸识别。其中2D人脸识别是通过2D摄像头平面成像，无法接收物理世界中的第三位信息（尺寸和距离等几何数据），即使算法及软件再先进，在有限的信息接收状态下，，安全级别终究不够高，通过照片//视频/化妆/人皮面具等方式可以很容易进行破解，无法满足智能手机安全级别的需求。

3D人脸识别则是通过3D摄像头立体成像，能够识别视野内空间每个点位的三维坐标信息，从而使得计算机得到空间的3D数据并能够复原完整的三维世界，并实现各种智能的三维定位。简单的说就是机器获取的信息多了，分析判断的准确性有了极大的提升，人脸识别功能可以分辨出平面图像/视频/化妆/皮面具/双胞胎等状态，适合金融领域和智能手机等安全级别要求高的应用场景。

（1）结构光（Structured Light）：结构光投射特定的光信息到物体表面后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。代表公司有苹果（收购最大的结构光技术公司PrimeSense）、微软Kinect-1、英特尔RealSense、Google Project Tango等，目前可见的其他创业公司几乎都沿用此技术路线。

（2）TOF（Time Of Flight，飞行时间）：通过专有传感器，捕捉近红外光从发射到接收的飞行时间，判断物体距离。

（3）双目测距（Stereo System）：利用双摄像头拍摄物体，再通过三角形原理计算物体距离。代表公司LeapMotion。代表公司微软Kinect-2。

在国内，单目结构光供应商有奥比中光科技、华捷艾米软件，双目结构光方案有图漾科技，TOF方案的有乐行天下科技。此外，有两家上市公司也开始了内部研发项目。

在这三种技术当中，哪种技术更适合智能手机的应用呢？

由上图可知，三种技术当中只有双目视觉不适合昏暗环境使用，也就是说我们的智能手机在夜间无法实现人脸识别解锁，首先就被排除了。

下面再来看看TOF技术和结构光技术。

TOF技术具有响应时间更快，抗光照表现尚可，深度信息精确度高、识别距离远等优势，但是其也有着分辨率低、成本高、功耗高、模块太大的劣势。

而结构光技术优势则在于低光下表现良好，分辨率更高，成本、功耗适中，主要缺点是易受阳光影响，识别距离短，相应时间稍慢的缺点。

不过就应用于智能手机上的人脸识别功能，结构光技术应该是要比TOF技术更有优势。因为通过智能手机的前置3D系统来进行面部识别这种应用场景本身识别的距离就很近，所以不存在需要支持更远的识别距离的问题。另外结构光相比TOF技术，短距离的精度更高，也更适合用在手机前置摄像头上。而且其分辨率、相应时间已经足以应对手机端面部识别的需求（采用TOF技术的Project Tango手机是后置3D系统，其作用也不是主要用于面部识别）。

另外，就两种技术所产生的深度图来看，TOF深度图会存在多重反射产生的噪音、边缘精细度过低、时域滤波导致滞后等问题。而结构光的深度图则只有边界线清晰度略低的问题。最后，由于是用在智能手机这样的消费类移动设备上，所以成本、功耗也都是需要考虑的因素。

所以总的来说，如果是手机前置3D面部识别系统，结构光技术相比TOF技术更具优势。苹果iPhone X的FaceID采用的便是结构光技术。