有人模仿你的脸,能骗过人脸身份认证系统吗

基于多特征融合的3D打印面具攻击检测

随着智能化信息时代的到来,人脸身份认证系统被大量应用,如身份在线识别、公共安全系统、门禁出入系统、上班?#35760;?#31995;统?#21462;?#28982;而,各种攻击欺骗手段的多样性也使得人脸识别研究面临着巨大挑战。

人脸认证系统中的欺骗攻击是指通过不正当的手段伪造真实用户面部特征,从而获得用户系统权限的方式。普通用户的照片以及视频很容易通过互联网获得,也可以在不知情的情况下对他人进行偷?#27169;?#20266;造的人脸攻击使得人脸识别变得?#35805;?#20840;,特别是在货币支付和隐私验证领域,直接影响?#25509;?#25143;的自身利益。因此,人脸反欺骗?#26434;?#21152;强人脸识别系统的安全性以及扩展人脸识别的使用场景尤为重要。

并且随着3D打印技术的日益成熟,开始出现仅需提供一张正面照片,就可以为用户提供价格低廉、形象逼真的人脸3D面具的服务。而传统的攻击检测方法在面对3D面具的攻击时基本失效。例如,将去掉眼睛和嘴巴等部位的面具戴在攻击者的脸上就可以轻易骗过生理微动特征检测方法;3D 面具不需要借助纸张、LED 屏幕等媒介呈现,所以基于背景光流特征分析的方法便失去效果。相关评估实验显示,在只使用传统人脸识别算法时,3DMAD数据库中有65.70%的3D面具攻击被识别为合法用户。由此可见,3D面具对人脸识别系统具有很强的欺骗性。

因此,通过3D打印面具的攻击方式已成为人脸识别系统面临的新挑战。



图1 基于3D打印技术制造的人脸面具

?#26412;?#24037;业大学?#24405;?#27665;教授课题组针对3D面具欺骗攻击,在剪切波变换基础上,结合人脸三维几何特征和局部区域纹理变化,提出一种利用多层自编码网络进行特征融合分类来识别攻击面具的方法,在基于柔性TPU材质3D打印面具BFFD数据库上试验表明,加入三维几何特征的多特征融合方法相比于以往单独使用纹理特征的方法对反3D面具攻击的准?#20223;?#24471;到了显著提升。

该课题组探索了用剪切波变换作为提取图像几何特征的滤波器和描述图像局部区域纹理变化的算子。

首先通过非下采样剪切波变换从目标人脸3D图像中提取出低频子带和高频子带,在低频子带上利用尺度空间函数对特征点进行检测,然后定位特征点并分配方向,利用特征点邻域旋转不变性对特征点进行描述,生成特征描述子,即meshSIFT特征向量,设置不同阀值以完成特征点匹配,匹配结果作为3D人脸识别模型的输出和后续自编码器的输入。



图2 数据库中的二维纹理图像和三维网格扫描图 (a)真实人脸样本;(b) 型欺骗样本?#21495;?#25140;本人的面具型欺骗样本?#21495;?#25140;他人的面具

为了实现与几何特征互补,该课题组采用栈式自编码器和softmax分类器对meshSIFT几何特征以及纹理特征进行融合分类。

由于神经网络中使用了sigmoid阈值函数,瓶颈特征被自动?#25104;?#21040;0,1之间,适合用于融合不同维度的特征。因此提出了基于神经网络方法的多特征融合框架。所采用的栈式自编码器不仅是一个监督分类器,还可以产生瓶颈特征,改变原始特征的空间分布并对神经网络的原始输入进行压缩和稀疏表示,从而实现特征之间的深度融合。

实验结果表明,利用瓶颈表示的特征融合充分结合了低频子带中的几何结构信息?#22270;?#20999;波变换高频子带中的纹理信息,提高融合特征?#21335;?#30095;?#38498;?#21487;区分度,有效弥补了单一特征在识别3D攻击面具上的?#37038;啤?#19982;分数融合策略、原始特征融合方法相比得到了更好的结果,?#24471;?#36866;当的特征融合策略?#26434;?#20154;脸反攻击的多特征融合是至关重要的。



图3. 基于神经网络的3D打印面具攻击检测特征融合图

该课题组表示,后续将针对时序数据?#21335;?#20851;性,在下一阶段的工作中,将动态三维人脸图像变化特征作为网络的输入,以获得更优的反欺骗攻击效果。

该文章发表在《激光与光电子学进展?#36820;?6卷第3期,且被选为当期的封面文章,文章内容点击查看:

陆经纬,陈鹤天,马肖攀,?#24405;?#27665;. 基于多特征融合的3D打印面具攻击检测[J]. 激光与光电子学进展, 2019, 56(3): 031002

依据该文章内容设计的封面图: