第12卷第3期 智能系统学报 Vol.12 No.3 2017年6月 CAAI Transactions on Intelligent Systems Jun.2017 D0I:D0I:10.11992/is.201607005 网络出版地址:http:/kns.cmki.ne/kcms/detail/23.1538.TP.20170705.1703.014.html 一种基于P稳定局部敏感哈希算法的 相似人脸检索系统设计 陈雯柏,黄至铖,刘琼 (北京信息科技大学自动化学院,北京100192) 摘要:针对智能移动终端、移动机器人安防巡检等应用需求,本文提出了一种基于P稳定局部哈希算法的相似人 脸检索系统设计。首先,采用基于局部组合二值特征检测图像中的人脸。进而,通过深度自编码神经网络提取人脸 特征。最后,基于所提取的图像的人脸区域特征使用稳定分布的局部敏感哈希算法对每幅图像构建高效索引。实 验表明,本文所设计的相似人脸检索系统处理一幅图像的时间约4O0s,能满足实际应用需求,且返回检测结果的 误检率低于经典AdaBoost算法。 关键词:人脸图像检索:局部敏感哈希算法:P稳定分布;局部组合二值特征 中图分类号:TP18;TN911.22文献标志码:A文章编号:1673-4785(2017)03-0392-05 中文引用格式:陈雯柏,黄至铖,刘琼.一种基于P稳定局部敏感哈希算法的相似人脸检索系统设计[J].智能系统学报,2017,12 (3):392-396. 英文引用格式:CHEN Wenbai,HUANG Zhicheng,LIU Qiong.A similar-face-image-retrieval system design based on a P-stable locality-sensitive Hashing algorithm[J].CAAI transactions on intelligent systems,2017,12(3):392-396. A similar-face-image-retrieval system design based on a P-stable locality-sensitive Hashing algorithm CHEN Wenbai,HUANG Zhicheng,LIU Qiong (School of Automation,Beijing Information Science and Technology University,Beijing 100192,China) Abstract:This paper proposes a similar-face-retrieval system based on a P-stable local hashing algorithm to meet the requirements of intelligent mobile terminals and mobile-robot-security inspection applications.First,our system extracts a locally assembled binary feature to detect a human face in a particular image.Subsequently,a deep auto- encoding network is used to compute the subject's facial features.Finally,a locality-sensitive hashing algorithm based on a P-stable distribution is employed to construct an efficient index for each image according to the facial features.Our test results show that the proposed similar-face-image-retrieval system can process images within approximately 400 ms,thereby meeting the requirements of practical biometric applications.In addition,the false detection rate of the proposed method is considerably low than that of the classical AdaBoost algorithm. Keywords:face-image retrieval;locality-sensitive Hashing algorithm;P-stable distribution;locally assembled binary feature 由于人脸是一种具有高度区分度的生物特征, 图像检索需要在大规模人脸库中,实现单张人脸图 基于人脸图像识别检索的研究十分活跃1-引,已成 片的检测、特征提取、索引、配准等过程。大数据环 为计算机视觉、模式识别和人工智能领域的重要研 境下,这种相似人脸检索技术,在安防、军事以及娱 究课题和系统应用。与传统的人脸识别不同,人脸 乐领域有着广泛的应用价值,已成为人脸图像研究 中的一个热点[46]。 收稿日期:2016-07-05.网络出版日期:2017-07-05. 基金项目:北京高等学校高水平人才交叉培养“实培计划”项目(京教 相似人脸检索本质上是一种高维结构索引,为 高〔2015]11号). 解决“维数灾难”和大规模数据的困扰7-),基于内 通信作者:陈雯柏.E-mail:chenwb03@126.com
第 12 卷第 3 期 智 能 系 统 学 报 Vol.12 №.3 2017 年 6 月 CAAI Transactions on Intelligent Systems Jun. 2017 DOI:DOI:10.11992 / tis. 201607005 网络出版地址:http: / / kns.cnki.net / kcms/ detail / 23.1538.TP.20170705.1703.014.html 一种基于 P 稳定局部敏感哈希算法的 相似人脸检索系统设计 陈雯柏,黄至铖,刘琼 (北京信息科技大学 自动化学院, 北京 100192) 摘 要:针对智能移动终端、移动机器人安防巡检等应用需求,本文提出了一种基于 P 稳定局部哈希算法的相似人 脸检索系统设计。 首先,采用基于局部组合二值特征检测图像中的人脸。 进而,通过深度自编码神经网络提取人脸 特征。 最后,基于所提取的图像的人脸区域特征使用稳定分布的局部敏感哈希算法对每幅图像构建高效索引。 实 验表明,本文所设计的相似人脸检索系统处理一幅图像的时间约 400 ms,能满足实际应用需求,且返回检测结果的 误检率低于经典 AdaBoost 算法。 关键词:人脸图像检索;局部敏感哈希算法;P 稳定分布;局部组合二值特征 中图分类号:TP18;TN911.22 文献标志码:A 文章编号:1673-4785(2017)03-0392-05 中文引用格式:陈雯柏,黄至铖,刘琼.一种基于 P 稳定局部敏感哈希算法的相似人脸检索系统设计[ J]. 智能系统学报, 2017, 12 (3): 392-396. 英文引用格式:CHEN Wenbai, HUANG Zhicheng, LIU Qiong. A similar⁃face⁃image⁃retrieval system design based on a P⁃stable locality⁃sensitive Hashing algorithm[J]. CAAI transactions on intelligent systems, 2017, 12(3): 392-396. A similar⁃face⁃image⁃retrieval system design based on a P⁃stable locality⁃sensitive Hashing algorithm CHEN Wenbai, HUANG Zhicheng, LIU Qiong (School of Automation, Beijing Information Science and Technology University, Beijing 100192, China) Abstract:This paper proposes a similar⁃face⁃retrieval system based on a P⁃stable local hashing algorithm to meet the requirements of intelligent mobile terminals and mobile⁃robot⁃security inspection applications. First, our system extracts a locally assembled binary feature to detect a human face in a particular image. Subsequently, a deep auto⁃ encoding network is used to compute the subjects facial features. Finally, a locality⁃sensitive hashing algorithm based on a P⁃stable distribution is employed to construct an efficient index for each image according to the facial features. Our test results show that the proposed similar⁃face⁃image⁃retrieval system can process images within approximately 400 ms, thereby meeting the requirements of practical biometric applications. In addition, the false detection rate of the proposed method is considerably low than that of the classical AdaBoost algorithm. Keywords: face⁃image retrieval; locality⁃sensitive Hashing algorithm; P⁃stable distribution; locally assembled binary feature 收稿日期:2016-07-05. 网络出版日期:2017-07-05. 基金项目:北京高等学校高水平人才交叉培养“实培计划” 项目(京教 高〔2015〕11 号). 通信作者:陈雯柏. E⁃mail:chenwb03@ 126.com. 由于人脸是一种具有高度区分度的生物特征, 基于人脸图像识别检索的研究十分活跃[1-3] ,已成 为计算机视觉、模式识别和人工智能领域的重要研 究课题和系统应用。 与传统的人脸识别不同,人脸 图像检索需要在大规模人脸库中,实现单张人脸图 片的检测、特征提取、索引、配准等过程。 大数据环 境下,这种相似人脸检索技术,在安防、军事以及娱 乐领域有着广泛的应用价值,已成为人脸图像研究 中的一个热点[4-6] 。 相似人脸检索本质上是一种高维结构索引,为 解决“维数灾难”和大规模数据的困扰[7-8] ,基于内
第3期 陈雯柏,等:一种基于P稳定局部敏感哈希算法的相似人脸检索系统设计 ·393· 容的BOF(bag of feature)方法和LSH(locality- sensitive hashing)方法取得了不错的效果[9)。近年 来,在图像识别检测问题上,区别于以往的人工构 造特征的方法,基于深度神经网络的深度学习方法 在特征提取和准确率等方面取得了许多惊人的成 绩。但深度学习对数据和计算的需求以及实现的 效率是需要考虑的问题0。 针对智能移动终端、移动机器人安防巡检应用 需求),基于对数据和计算的考虑,本文提出了一 种基于P稳定的局部敏感哈希算法的相似人脸检 图1组合二值Haar特征 Fig.1 Assembled binary Haar features 索系统设计。首先采用基于局部组合二值特征人 1.2人脸特征提取 脸检测算法(locally assembled binary,LAB)来完成 本文通过使用深度自编码神经网络局部描述 人脸检测,然后采用深度自编码网络实现人脸的特 子来进行特征提取及表征,具体流程如图2所示。 征提取,最后采用基于P稳定的局部敏感哈希算法 来完成整个系统的索引构建与相似人脸的检索。 FELD 1相似人脸检索系统 FELD 1.1人脸检测 成 FELD 本文采用基于局部编码二值特征(locally assembled binary,LAB)的人脸检测算法[2],具有检 (预处理 FELD 测速度快、精度高等优点。 静态图片集 采样空间体采样图像块 LAB特征分类器通过级联式检测结构,能在预 特征提取 处理层中高效剔除大量非人脸样本。针对于较为 图2基于稀疏自编码的局部描述子 复杂的非人脸样本,本文所设计系统采用实数型 Fig.2 Locality descriptor based on sparse auto-encoding Adaboost(即Real AdaBoost)算法进行处理。 1)作为一种无监督的学习方法,深度自编码网 为了让同一个特征在属于不同窗口的分类器 络尝试学习一个恒等函数,从而使得输出数据近似 于输入数据。通过对隐层加入稀疏性限制,当隐层 中的计算过程中提供相同的输入特征,采用二值 节点数少于输入层时,迫使网络去学习输入数据的 Haar特征,如式(1)所示: 压缩表示。 b(x)= 1,(S)-(S2);>0 2)累加统计是一个池化过程。每个图片块进 (1) (0,其他 行量化后,其像素点都关联一个K维度的编码。这 由于值Haar特征只保留了Haar特征的符号信 些编码对位置非常敏感,为了缓解人脸图像的类内 较大的变化而导致难以精确配准问题,将人脸图像 息,为了提高特征的描述能力,提出将多个二值特 划分为若干个空间区域,统计每个区域的编码信 征进行组合的办法,通过将多个二进制的二值Haar 息。具体的操作就是将每个空间码字X= 特征作为码字进行编码,用于提高特征的描述能 {X,X2,…,X,}进行累加统计以得到一个更加抽象 力。局部组合二值特征采用图1所示的8个特征, 的紧致表达V=X1+X2+…+Xpo 其中8个特征中的黑色矩形方块指代同一个像素 3)由于传统主成分分析(principle component analysis,PCA)的方法容易受到一些高频噪声的影 点,最终得到一个组合了8个特征计算所得的新特 响,本文采用了基于WPCA的白化主成分分析来完 征。相比Haar特征,局部组合二值特征在简化计算 成特征向量的降维[)。 复杂度的同时,针对于光照多变等问题具有很强的 1.3人脸索引构建 鲁棒性。 对于高维人脸特征向量查询问题,传统线性匹
容的 BOF ( bag of feature ) 方 法 和 LSH ( locality⁃ sensitive hashing)方法取得了不错的效果[9] 。 近年 来,在图像识别检测问题上,区别于以往的人工构 造特征的方法,基于深度神经网络的深度学习方法 在特征提取和准确率等方面取得了许多惊人的成 绩。 但深度学习对数据和计算的需求以及实现的 效率是需要考虑的问题[10] 。 针对智能移动终端、移动机器人安防巡检应用 需求[11] ,基于对数据和计算的考虑,本文提出了一 种基于 P 稳定的局部敏感哈希算法的相似人脸检 索系统设计。 首先采用基于局部组合二值特征人 脸检测算法( locally assembled binary,LAB) 来完成 人脸检测,然后采用深度自编码网络实现人脸的特 征提取,最后采用基于 P 稳定的局部敏感哈希算法 来完成整个系统的索引构建与相似人脸的检索。 1 相似人脸检索系统 1.1 人脸检测 本文 采 用 基 于 局 部 编 码 二 值 特 征 ( locally assembled binary,LAB)的人脸检测算法[12] ,具有检 测速度快、精度高等优点。 LAB 特征分类器通过级联式检测结构,能在预 处理层中高效剔除大量非人脸样本。 针对于较为 复杂的非人脸样本,本文所设计系统采用实数型 Adaboost(即 Real AdaBoost)算法进行处理。 为了让同一个特征在属于不同窗口的分类器 中的计算过程中提供相同的输入特征,采用二值 Haar 特征,如式(1)所示: bj (x) = 1, S1 ( ) j - S2 ( ) j > 0 0, 其他 { (1) 由于值 Haar 特征只保留了 Haar 特征的符号信 息,为了提高特征的描述能力,提出将多个二值特 征进行组合的办法,通过将多个二进制的二值 Haar 特征作为码字进行编码,用于提高特征的描述能 力。 局部组合二值特征采用图 1 所示的 8 个特征, 其中 8 个特征中的黑色矩形方块指代同一个像素 点,最终得到一个组合了 8 个特征计算所得的新特 征。 相比 Haar 特征,局部组合二值特征在简化计算 复杂度的同时,针对于光照多变等问题具有很强的 鲁棒性。 图 1 组合二值 Haar 特征 Fig.1 Assembled binary Haar features 1.2 人脸特征提取 本文通过使用深度自编码神经网络局部描述 子来进行特征提取及表征,具体流程如图 2 所示。 图 2 基于稀疏自编码的局部描述子 Fig.2 Locality descriptor based on sparse auto⁃encoding 1)作为一种无监督的学习方法,深度自编码网 络尝试学习一个恒等函数,从而使得输出数据近似 于输入数据。 通过对隐层加入稀疏性限制,当隐层 节点数少于输入层时,迫使网络去学习输入数据的 压缩表示。 2)累加统计是一个池化过程。 每个图片块进 行量化后,其像素点都关联一个 K 维度的编码。 这 些编码对位置非常敏感,为了缓解人脸图像的类内 较大的变化而导致难以精确配准问题,将人脸图像 划分为若干个空间区域,统计每个区域的编码信 息。 具 体 的 操 作 就 是 将 每 个 空 间 码 字 X = X1 ,X2 ,…,Xp { }进行累加统计以得到一个更加抽象 的紧致表达 V =X1 +X2 +…+Xp。 3) 由于传统主成分分析( principle component analysis,PCA)的方法容易受到一些高频噪声的影 响,本文采用了基于 WPCA 的白化主成分分析来完 成特征向量的降维[13] 。 1.3 人脸索引构建 对于高维人脸特征向量查询问题,传统线性匹 第 3 期 陈雯柏,等:一种基于 P 稳定局部敏感哈希算法的相似人脸检索系统设计 ·393·
.394. 智能系统学报 第12卷 配的方法在运算效率和复杂度方面都不尽人意。 在创建索引的时候,使用的哈希函数由k个哈 本文通过使用LSH算法构建大规模人脸图像数据 希函数串联得到,这种串联结构的使用虽然加大了 库的索引,能以稳定的概率返回数据库中与检索样 P,和P,之间的差值,但也引起了P,和P2的值都 本最近邻的图像。 同时降低问题。为了弥补这种情况带来的影响,我 们同时使用L张表来加大P,减小P,。这种互补索 2P稳定局部敏感哈希算法 引结构,能保证以较高的概率返回查询点的近邻 2.1LSH函数簇定义[4 点,同时也能以较高的概率拒绝返回距离较远点。 设S为d维的人脸特征的数据域,p和g是S 因此,只要能设置符合数据集特征的k和L,LSH就 中任意的两点。函数H={h:S→U)被称为 具有较高的查找效率。 2.3基于P稳定分布的LSH算法 (r,cr,P1,P2)敏感,当且仅当: 由上述LSH算法框架可知,不同哈希函数簇会 1)D(p,q)≤r→h(p)=h(q),其中p和q碰撞 产生不同的LSH算法。对于不同的数据集,采用不 的概率至少为P; 同的哈希函数簇,将会产生不同的效果。 2)D(p,q)≥cr→h(p)=h(q),其中p和g碰撞 对于实数域上的一个分布D,如果随机变量 的概率最多为P2,并且P,>P2。 当采用LSH函数簇中的功能函数进行哈希映 ∑,a,x和(∑,|aP)产x具有相同的分布,那么就 射时,可以保证P,>P,即距离比较近的点冲突的概 称D是一个P稳定分布。其中,P≥0,&1,2,…,a 率要大于距离比较远的点冲突的概率。 是n个实数,X1,X2,…,Xn是n个满足D分布的随 2.2LSH算法框架 机变量。对于VP∈(0,2]都存在稳定分布:当P=1 从LSH算法实现的原理上来看,如果在建立索 时是柯西分布,概率密度为c(x)= 引的过程中相近特征的哈希函数能放在一起,那么 m(1+x):当Ps 查询的效率也会越高。 2时是高斯分布,概率密度为g(x)= =ep。 √2 定义一组函数G={g:S→U},其中g()= 利用P稳定分布可以保证度量距离的同时,对 (h,(v),h2(v),…,h(v),h,∈H,随机地从G中抽 人脸特征向量进行降维操作。其主要思想是,利用 取L个哈希函数g1,g2,…,gL。对于得到的人脸特 服从P稳定分布的随机函数产生一个d维的随机 征数据集,任何一张人脸的特征向量v将其存在一 向量a,对于一个d维的人脸特征向量?,可以用 个容器g:(v)中。 a·v来估算Iv‖po 如图3所示,对于待查询向量q首先通过哈希 基于P稳定分布的SH函数簇中每个哈希函 函数得到其数字指纹,然后从具有相同数字指纹的 数定义为 容器中获得其所有的近邻点,当结果集中的近邻点 a·v+b 与查询点的距离满足D(q,y)≤r那么就将其放人 h()= (2) 10 返回列表中,当所有可能结果返回后,对其进行再 式中:a是由服从P稳定分布的随机函数产生的一 次排序并返回。 个d维向量:b为一个[0,w]中的一个随机实数。其 原理就是,将人脸特征向量v投影到向量a上,并且 人脸特征向量 在投影的结果上加入一个偏差修正值b,然后再以心 为间隔进行量化。这样就可以利用哈希函数将距 根据位置敏感哈希函数,将数据,点散列到哈希表的桶中 离相近的点映射到相近区间中。 82 对于数据集中任意两个特征向量”,和2,设 c=‖”-"2‖pf(t)为P稳定分布的概率密度函数 1号桶 的绝对值,当特征向量”1和"2映射到a上时有 2号桶 a·v1-a·v2<,即|(v,-v2)·a<w,由P稳定分 3号桶 布的特性得到 IIvi-v2X=cx<w (3) m号桶 由此可得两个向量碰撞的概率为 哈希表1 哈希表2 哈希表 图3LSH建立索引的过程 P0=)=)=0-台4 Fig.3 Process of LSH indexing (4)
配的方法在运算效率和复杂度方面都不尽人意。 本文通过使用 LSH 算法构建大规模人脸图像数据 库的索引,能以稳定的概率返回数据库中与检索样 本最近邻的图像。 2 P 稳定局部敏感哈希算法 2.1 LSH 函数簇定义[14] 设 S 为 d 维的人脸特征的数据域,p 和 q 是 S 中 任 意 的 两 点。 函 数 H = {h:S→U} 被 称 为 r,cr,P1 ,P2 ( ) 敏感,当且仅当: 1)D(p,q)≤r⇒h(p)= h(q),其中 p 和 q 碰撞 的概率至少为 P1 ; 2)D(p,q)≥cr⇒h(p)= h(q),其中 p 和 q 碰撞 的概率最多为 P2 ,并且 P1>P2 。 当采用 LSH 函数簇中的功能函数进行哈希映 射时,可以保证 P1>P2 ,即距离比较近的点冲突的概 率要大于距离比较远的点冲突的概率。 2.2 LSH 算法框架 从 LSH 算法实现的原理上来看,如果在建立索 引的过程中相近特征的哈希函数能放在一起,那么 查询的效率也会越高。 定义 一组函数 G = g:S→U k { } ,其中 g (v) = h1 (v) ,h2 (v) ,…,hk ( (v) ) ,hi∈H,随机地从 G 中抽 取 L 个哈希函数 g1 ,g2 ,…,gL 。 对于得到的人脸特 征数据集,任何一张人脸的特征向量 v 将其存在一 个容器 gi (v) 中。 如图 3 所示,对于待查询向量 q 首先通过哈希 函数得到其数字指纹,然后从具有相同数字指纹的 容器中获得其所有的近邻点,当结果集中的近邻点 与查询点的距离满足 D q,vj ( ) ≤r 那么就将其放入 返回列表中,当所有可能结果返回后,对其进行再 次排序并返回。 图 3 LSH 建立索引的过程 Fig.3 Process of LSH indexing 在创建索引的时候,使用的哈希函数由 k 个哈 希函数串联得到,这种串联结构的使用虽然加大了 P1 和 P2 之间的差值,但也引起了 P1 和 P2 的值都 同时降低问题。 为了弥补这种情况带来的影响,我 们同时使用 L 张表来加大 P1 减小 P2 。 这种互补索 引结构,能保证以较高的概率返回查询点的近邻 点,同时也能以较高的概率拒绝返回距离较远点。 因此,只要能设置符合数据集特征的 k 和 l,LSH 就 具有较高的查找效率。 2.3 基于 P 稳定分布的 LSH 算法 由上述 LSH 算法框架可知,不同哈希函数簇会 产生不同的 LSH 算法。 对于不同的数据集,采用不 同的哈希函数簇,将会产生不同的效果。 对于实数域上的一个分布 D,如果随机变量 ∑i αiXi 和 ∑i αi P ( ) 1 P X 具有相同的分布,那么就 称 D 是一个 P 稳定分布。 其中,P≥0,α1 ,α2 ,…,αn 是 n 个实数,X1 ,X2 ,…,Xn 是 n 个满足 D 分布的随 机变量。 对于∀P∈(0,2]都存在稳定分布;当 P = 1 时是柯西分布,概率密度为 c( x)= 1 π(1+x 2 ) ;当 P = 2 时是高斯分布,概率密度为 g(x)= 1 2π e -x 2 / 2 。 利用 P 稳定分布可以保证度量距离的同时,对 人脸特征向量进行降维操作。 其主要思想是,利用 服从 P 稳定分布的随机函数产生一个 d 维的随机 向量 a,对于一个 d 维的人脸特征向量 v,可以用 a·v来估算‖v‖P 。 基于 P 稳定分布的 LSH 函数簇中每个哈希函 数定义为 h(v) =⌊ a·v + b w 」 (2) 式中:a 是由服从 P 稳定分布的随机函数产生的一 个 d 维向量;b 为一个 [0,w] 中的一个随机实数。 其 原理就是,将人脸特征向量 v 投影到向量 a 上,并且 在投影的结果上加入一个偏差修正值 b,然后再以 w 为间隔进行量化。 这样就可以利用哈希函数将距 离相近的点映射到相近区间中。 对于数据集中任意两个特征向量 v1 和 v2 ,设 c =‖v1 -v2‖P 、fP(t)为 P 稳定分布的概率密度函数 的绝对值,当特征向量 v1 和 v2 映射到 a 上时有 a·v1 -a·v2 <w,即 v1 -v2 ( ) ·a <w,由 P 稳定分 布的特性得到 ‖v1 - v2‖P X = cX < w (3) 由此可得两个向量碰撞的概率为 Pr(c) = Pr h v1 ( ) = h v2 ( ( ) ) = ∫ w 0 1 c fP t c æ è ç ö ø ÷ 1 - t w æ è ç ö ø ÷ dt (4) ·394· 智 能 系 统 学 报 第 12 卷
第3期 陈雯柏,等:一种基于P稳定局部敏感哈希算法的相似人脸检索系统设计 .395. 由(4)式可知在w给定的情况下,两个向量冲 4)系统参数设置模块 突的概率随c的增加而减小。在实际使用中为了让 整个系统是否能高效地进行索引构建以及目 w更加符合数据集特征,本文通过随机抽样的方法 标人脸图片的检测,在一定程度上与哈希表的数目 计算W。 以及每张表中哈希函数的个数都有关系。如图5所 示,兼顾正确率和查询效率,本系统设置了11张哈 3 相似人脸检索系统设计与实现 希表,每张哈希表中包含20个哈希函数。 相似人脸检索系统基于BS架构开发,采用Java 1.0 中的SpringMve框架,利用Tomcat服务器实现。 0.9 3.1 系统架构 0.8 如图4所示,人脸检索系统共分为3个模块,即 人脸特征提取模块、索引构建模块和人脸图片检索 0.6 模块。 0.5 特征提取 索引构建 用户输入 特征提取 模块 模块 图片 模块 0.4 10 15 20 哈希函数个数 人脸图片 索引 人脸图像 数据库 文件 检索模块 图5哈希函数个数与算法性能的关系 Fig.5 Relationship between the number of Hash 反馈检索 function and performance of the algorithm 结果 3.2实验结果 图4系统架构图 为了对人脸检测模块的性能进行定量分析,从 Fig.4 System architecture FDDB(face detection data set and benchmark)数据库 1)人脸特征提取模块 中随机抽取50张人脸图像共计80个人脸,本文提 为缩短特征提取的时间,采用C++实现并且加 出的方法与OpenCV自带的AdaBoost人脸检测器相 入了OpenMP(open multi-processing)的编译支持。 比,具有较高的检测精度和性能,结果如表1所示。 特征提取模块主要完成人脸检测以及校准,然 表1人脸检测器性能比较 后利用自编码网络来完成人脸区域的特征表征,整 Table 1 Performance comparison of face detector 个过程在本系统实际测量中处理一张人脸图片的 人脸检测器人脸个数误检个数 总用时/ms 时间大约400ms。 AdaBoost 80 16 19291 2)索引构建模块 利用基于P稳定分布的SH算法来完成人脸 LAB 80 6 5998 特征向量的映射,得到图片的数字指纹。通过数字 实际系统运行于PC(Intel is5-4590主频3.30Gz 指纹将相似度较高的人脸图像映射到一个桶内,并 内存4GB)平台,系统基本能在1s内返回与上传图 且利用多表互补的方法提高召回率。当对所有图 片相似的4张图片,能满足智能移动终端、移动机器 像进行映射后,将每幅图像的索引进行序列化,并 人安防巡检的实际应用需求。系统部分实际运行 存储为文件。 效果如图6所示。 3)人脸图片检索模块 用户上传人脸图片后,系统首先调用人脸特征 提取模块得到人脸特征向量。特征向量经过哈希 表中的k个哈希函数生成一个k维的向量,然后再 将该向量生成一个数字指纹。最后利用生成的数 字指纹进行查找,并返回相似度最高的4张图片。 为了保证待检索图片与结果之间的相似性,采用余 弦距离对返回结果进行二次约束,只有当检索图片 的特征向量”,和检索结果的人脸特征向量2之间 收上日国口口为成 的余弦距离大于0.75才符合要求,并放入结果队列。 (a)检索出相同人脸
由(4)式可知在 w 给定的情况下,两个向量冲 突的概率随 c 的增加而减小。 在实际使用中为了让 w 更加符合数据集特征,本文通过随机抽样的方法 计算 w。 3 相似人脸检索系统设计与实现 相似人脸检索系统基于 BS 架构开发,采用 Java 中的 SpringMvc 框架,利用 Tomcat 服务器实现。 3.1 系统架构 如图 4 所示,人脸检索系统共分为 3 个模块,即 人脸特征提取模块、索引构建模块和人脸图片检索 模块。 图 4 系统架构图 Fig.4 System architecture 1)人脸特征提取模块 为缩短特征提取的时间,采用 C++实现并且加 入了 OpenMP(open multi⁃processing)的编译支持。 特征提取模块主要完成人脸检测以及校准,然 后利用自编码网络来完成人脸区域的特征表征,整 个过程在本系统实际测量中处理一张人脸图片的 时间大约 400 ms。 2)索引构建模块 利用基于 P 稳定分布的 LSH 算法来完成人脸 特征向量的映射,得到图片的数字指纹。 通过数字 指纹将相似度较高的人脸图像映射到一个桶内,并 且利用多表互补的方法提高召回率。 当对所有图 像进行映射后,将每幅图像的索引进行序列化,并 存储为文件。 3)人脸图片检索模块 用户上传人脸图片后,系统首先调用人脸特征 提取模块得到人脸特征向量。 特征向量经过哈希 表中的 k 个哈希函数生成一个 k 维的向量,然后再 将该向量生成一个数字指纹。 最后利用生成的数 字指纹进行查找,并返回相似度最高的 4 张图片。 为了保证待检索图片与结果之间的相似性,采用余 弦距离对返回结果进行二次约束,只有当检索图片 的特征向量 v1 和检索结果的人脸特征向量 v2 之间 的余弦距离大于0.75才符合要求,并放入结果队列。 4)系统参数设置模块 整个系统是否能高效地进行索引构建以及目 标人脸图片的检测,在一定程度上与哈希表的数目 以及每张表中哈希函数的个数都有关系。 如图 5 所 示,兼顾正确率和查询效率,本系统设置了 11 张哈 希表,每张哈希表中包含 20 个哈希函数。 图 5 哈希函数个数与算法性能的关系 Fig. 5 Relationship between the number of Hash function and performance of the algorithm 3.2 实验结果 为了对人脸检测模块的性能进行定量分析,从 FDDB(face detection data set and benchmark)数据库 中随机抽取 50 张人脸图像共计 80 个人脸,本文提 出的方法与 OpenCV 自带的 AdaBoost 人脸检测器相 比,具有较高的检测精度和性能,结果如表 1 所示。 表 1 人脸检测器性能比较 Table 1 Performance comparison of face detector 人脸检测器 人脸个数 误检个数 总用时/ ms AdaBoost 80 16 19 291 LAB 80 6 5 998 实际系统运行于 PC(Intel i5⁃4590 主频 3.30 GHz 内存 4 GB)平台,系统基本能在 1 s 内返回与上传图 片相似的 4 张图片,能满足智能移动终端、移动机器 人安防巡检的实际应用需求。 系统部分实际运行 效果如图 6 所示。 (a)检索出相同人脸 第 3 期 陈雯柏,等:一种基于 P 稳定局部敏感哈希算法的相似人脸检索系统设计 ·395·
·396· 智能系统学报 第12卷 Boston,Massachusetts,1984:47-57. [8 CHEN D,CAO X.WEN F,et al.Blessing of dimensionality:high-dimensional feature and its efficient compression for face verification [C]//Proceeding of the Computer Vision and Pattem Recognition.Piscataway,2013: 3025-3032. [9]GIONIS A,INDYK P,MOTWANI R.Similarity Search in High Dimensions via Hashing[C]/Intemational Conference on Very Large Data Bases.Morgan Kaufmann Publishers Inc,2000: 518-529. [10]SUN Y,WANG X G,TANG X O.Deep convolutional (b)检索出相近人脸 network cascade for facial point detection[C]//Proceeding 图6相似人脸检索 of the Computer Vision and Pattern Recognition,2013: Fig.6 Similar face retrieval 121-125. [11]邓健康,杨静,王蒙,等.基于移动平台的快速相似脸检索 4 结束语 [J].北京航空航天大学学报,2015,41(2):323-330. DENG Jiankang,YANG Jing,WANG Meng,et al.Fast 本文给出了一种基于P稳定LSH算法的相似 similar face retrieval based on mobile platform [J].Journal 人脸检索系统设计,采用基于局部组合二值特征人 of Beijing university of aeronautics and astronautics,2015 脸检测算法来完成人脸检测,采用深度自编码网络 41(2):323-330. [12]YAN S,SHAN S,Chen X,et al.Locally Assembled 对检测出的人脸提取特征。通过采用P稳定的局 Binary (LAB)feature with feature-centric cascade for fast 部敏感哈希算法,完成整个系统的图像索引构建。 and accurate face detection [C]//IEEE Conference on 本系统的设计应用于智能移动终端和移动机器人 Computer Vision and Pattern Recognition,2008:1-7. 安防巡检,达到了检索精度和检索时耗的平衡。 [13]LIU F,WANG Z L,WANG L,et al.Facial expression recognition using HLAC features and WPCA[J].Lecture 参考文献: notes in computer science,2005,3784:88-94. [14]DATAR M,IMMORLICA N,INDYK P,et al.Locality- [1]CHEN B C,CHEN YY,KUO Y H,et al.Scalable face sensitive hashing scheme based on p-stable distributions image retrieval using attribute-enhanced sparse code words [C]//Twentieth Symposium on Computational Geometry. [J].IEEE transactions on multimedia,2013,15(5):1163 ACM.2004:253-262. -1173 作者简介: [2]胡正平,李静基于低秩子空间恢复的联合稀疏表示人脸 陈雯柏.男.1975年生,副教授.博 识别算法[J].电子学报,2013,41(5):987-991. 士,中国人工智能学会理事,主要研究 HU Zhengping,LI Jing.Face recognition of joint sparse 方向为机器人控制与无线传感器网络。 representation based on lowmark subspace recovery [J]. Chinese journal of electronics,2013,41(5):987-991. [3]XIE S F,SHAN S G,CHEN X L,et al.Fusing local pattems of gabor magnitude and phase for face recognition[].IEEE trans on image processing,2010,19(5):1349-1361. [4]LI Y,WANG R,LIU H,et al.Two birds,one stone: 黄至铖,男,1992年生,硕士研究 jointly leaming binary code for large-scale face image 生,主要研究方向为机器学习与模式识 retrieval and attributes prediction[C]/IEEE International 别。 Conference on Computer Vision.IEEE Computer Society, 2015:3819-3827. [5]BURGOS-ARTIZZU X P,PERONA P,DOLLAR P.Robust face landmark estimation under occlusion [C//Intemational Conference on Computer Vision,2013:1513-1520. 刘琼,女,1984年生,副教授,主要 [6]SHAN S G,CHANG Y Z,GAO W,et al.Curse of 研究方向为模式识别、认知计算、机器 misalignment in face recognition:problem and a novel mis alignment learning solution [C]/Proceeding of the 6th 学习。 International Conference on Face and Gesture Recognition, Jeju,Korea,2004,314-320. [7]GUTTMAN A.A dynamic index structure for spatial searching [C]//Sigmod'84,Proceedings of Meeting
生,主要研究方向为机器学习与模式识 (b)检索出相近人脸 图 6 相似人脸检索 Fig.6 Similar face retrieval 4 结束语 本文给出了一种基于 P 稳定 LSH 算法的相似 人脸检索系统设计,采用基于局部组合二值特征人 脸检测算法来完成人脸检测,采用深度自编码网络 对检测出的人脸提取特征。 通过采用 P 稳定的局 部敏感哈希算法,完成整个系统的图像索引构建。 本系统的设计应用于智能移动终端和移动机器人 安防巡检,达到了检索精度和检索时耗的平衡。 参考文献: [1]CHEN B C, CHEN Y Y, KUO Y H, et al. Scalable face image retrieval using attribute⁃enhanced sparse code words [ J]. IEEE transactions on multimedia, 2013,15 (5) :1163 -1173. [2]胡正平,李静.基于低秩子空间恢复的联合稀疏表示人脸 识别算法[J].电子学报, 2013, 41(5): 987-991. HU Zhengping, LI Jing. Face recognition of joint sparse representation based on lowmark subspace recovery [ J]. Chinese journal of electronics, 2013, 41(5): 987-991. [3]XIE S F, SHAN S G, CHEN X L, et al. Fusing local patterns of gabor magnitude and phase for face recognition[J]. IEEE trans on image processing, 2010,19(5):1349-1361. [4] LI Y, WANG R, LIU H, et al. Two birds, one stone: jointly learning binary code for large⁃scale face image retrieval and attributes prediction[C] / / IEEE International Conference on Computer Vision. IEEE Computer Society, 2015:3819-3827. [5]BURGOS⁃ARTIZZU X P, PERONA P, DOLLAR P. Robust face landmark estimation under occlusion [C] / / International Conference on Computer Vision, 2013:1513-1520. [ 6 ] SHAN S G, CHANG Y Z, GAO W, et al. Curse of misalignment in face recognition: problem and a novel mis alignment learning solution [ C] / / Proceeding of the 6th International Conference on Face and Gesture Recognition, Jeju, Korea, 2004, 314-320. [7 ] GUTTMAN A. A dynamic index structure for spatial searching [ C ] / / Sigmod84, Proceedings of Meeting, Boston, Massachusetts, 1984: 47-57. [ 8 ] CHEN D, CAO X, WEN F, et al. Blessing of dimensionality: high⁃dimensional feature and its efficient compression for face verification [ C] / / Proceeding of the Computer Vision and Pattern Recognition. Piscataway, 2013: 3025-3032. [9]GIONIS A, INDYK P, MOTWANI R. Similarity Search in High Dimensions via Hashing[C] / / International Conference on Very Large Data Bases. Morgan Kaufmann Publishers Inc, 2000: 518-529. [10] SUN Y, WANG X G, TANG X O. Deep convolutional network cascade for facial point detection[C] / / Proceeding of the Computer Vision and Pattern Recognition, 2013: 121-125. [11]邓健康,杨静,王蒙,等. 基于移动平台的快速相似脸检索 [J]. 北京航空航天大学学报, 2015, 41(2): 323-330. DENG Jiankang, YANG Jing, WANG Meng, et al. Fast similar face retrieval based on mobile platform [J]. Journal of Beijing university of aeronautics and astronautics, 2015, 41(2): 323-330. [12] YAN S, SHAN S, Chen X, et al. Locally Assembled Binary (LAB) feature with feature⁃centric cascade for fast and accurate face detection [ C] / / IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1-7. [13] LIU F, WANG Z L, WANG L, et al. Facial expression recognition using HLAC features and WPCA[ J]. Lecture notes in computer science, 2005, 3784:88-94. [14]DATAR M, IMMORLICA N, INDYK P, et al. Locality⁃ sensitive hashing scheme based on p⁃stable distributions [C] / / Twentieth Symposium on Computational Geometry. ACM, 2004: 253-262. 作者简介: 陈雯柏,男,1975 年生,副教授,博 士,中国人工智能学会理事,主要研究 方向为机器人控制与无线传感器网络。 黄至铖,男,1992 年生,硕士研究 别。 刘琼,女,1984 年生,副教授,主要 研究方向为模式识别、认知计算、机器 学习。 ·396· 智 能 系 统 学 报 第 12 卷