第5期 李琛等：基于三维人耳形变模型的三维人耳重建 ·695 对象接受；第二，生理位置特殊，当人脸转为侧面 三维人耳模型后使用捆绑调整算法进行优化，该方 时，人耳恰处于视角正面，在已见报道的研究工作 法可获得的三维空间点数目大约为2000~3000个 中，通过三维扫描设备采集的人头部数据，通常既 随后Sun等12探讨了基于Daisy快速局部描述子 包含人脸数据，又包含人耳数据2-3到；第三，结构 的三维人耳重建方法.实验证明，该方法可以获得 特征丰富，且不似人脸易受年龄增加和表情变化的 大约30008000个三维空间点，模型更为稠密，且 影响.因此，基于人耳的身份识别已经成为一种有 计算效率略有提高.Cadavid小组提出了一种基于 效的非接触式身份识别方式，即可以成为人脸识别 SFS理论的三维人耳重建方法13到，从一组视频序 的有效补充，也可以作为一种独立的识别方式，被 列中提取信息，实现了基于单幅图片的三维人耳重 广大研究者所关注【4-6列 建 人耳作为三维物体，其深度信息具有更好的鉴 以上几个研究组的工作极大地推动了三维人 别性，从三维人耳数据中提取的人耳结构信息受人 耳重建研究的发展，但仍存在不足：Liu等提出的 耳姿态变化的影响较小.Yan和Bowyeri的研究表 方法需要手动在两幅不同角度的人耳图片上均匀地 明：与二维人耳识别方法相比，三维人耳识别具有 选择特征点，重建的三维点个数为300600个，实 更高的准确性，因而近年来越来越多的研究者致力 验结果显示内耳沟回部分的重建效果一般，较难满 于三维人耳识别的研究7-).进行三维人耳识别需 足实际人耳识别系统的要求：Zeng等提出的方法 要解决的首要问题是三维人耳数据的获取，三维激 获得了较稠密的三维空间点，但获取的点个数不稳 光扫描仪是一种重要的三维数据获取方式，它能获 定，且计算量大、耗时长，距离实际系统对实时性 取较高精度的三维数据：但由于其采集方式不够灵 的需要仍有一定差距；Cadavid等提出的基于SFS 活、扫描过程中限制条件较多且体积较为庞大，使 理论的重建方法，由于需要利用图像中场景的光照 其难以应用于非打扰式的远距离身份识别.通过监 和反射信息来进行重建，因而对图像的质量和拍摄 控摄像机采集图像是更为便捷和常用的非打扰式身 环境要求较高，对光照尤其敏感，另外SFS问题中 份识别的原始数据获取方式，因此通过三维重建从 待求参数比方程个数多，在使用该方法进行三维重 二维图像中获取三维信息，更适合于半受控和非受 建时，通常需要加入约束条件，从而导致SFS算法 控情况下的三维信息获取 本身不稳定，精确性和鲁棒性还有待提高 1 相关研究工作和本文思路 除以上几个研究组的工作之外，2010年英国 南安普顿大学的Mark Nixion研究组也进行了和三 1.1三维人耳重建 维人耳重建相关的研究14，他们结合3D形变模 目前，在基于二维图像的三维人耳重建方面的 型(3 D morphable model)理论，使用美国圣母大学 相关研究还较少，尚没有成熟的理论和方法可供使 (University of Notre Dame,UND)人耳库中的l60 用，对该领域进行了初步探讨的研究组有香港理工 个样本作为训练集，重建了人头部侧面的模型.由 大学David Zhang研究小组、北京科技大学穆志纯 于该研究组所重建的人头部侧面区域包含了人耳区 研究组和迈阿密大学Steven Cadavid研究组，已 域，因而认为它也是已有的三维人耳重建工作之一， 有的研究工作可分为基于SFM(structure from mo- 但是，作为三维人耳重建研究，该工作存在以下不 tion)理论的重建和基于SFS(shape from shading) 足：(1)人耳区域的特征点个数很少：(2)由于人耳 方法的重建 只是作为头部侧面的一部分，重建时没有考虑人耳 Liu等[o提出了一种半自动的三维人耳重建 自身的结构特点，因此人耳部分的重建效果难以衡 方法，将两幅不同角度的人耳图像分为四个子区域， 量 手动均匀地在每个子区域内选择特征点，然后通过 1.2形变模型概述及本文思路 极几何约束和灰度相关约束在对应极线上寻找匹配 三维形变模型方法，是由德国Max-Planck研究 点，最后用SFM算法重建出三维人耳模型.该方法 所的Blanz和Vetter提出的[11，它是一种基于统计 首次尝试了使用SFM理论重建三维人耳，并取得 学的建模方法，其基本思想是线性组合，即某一类 了一定的效果.Zeng等)提出了一种基于双目视 对象基底的线性组合可以用来表示该类对象，该方 觉原理的全自动准稠密三维人耳重建方法，采用基 法使用单幅二维图像即可生成对应的三维模型.三 于SIFT(scale invariant feature transform)的特征点 维形变模型方法在三维人脸重建领域已被广泛和深 提取与匹配方法获得种子点，再用三角原理重建出 入的研究，主要的研究小组包括德国Max-Planck研第 期 李 深等 基于三维人耳形变模型的三维人耳重建 · 对象接受 第二 , 生理位置特殊 , 当人脸转为侧面 时, 人耳恰处于视角正面 , 在 已见报道的研究工作 中, 通过三维扫描设备采集的人头部数据 , 通常既 包含人脸数据, 又包含人耳数据 “一 第三, 结构 特征丰富, 且不似人脸易受年龄增加和表情变化的 影响 因此 , 基于人耳 的身份识别 己经成为一种有 效的非接触式身份识别方式, 即可 以成为人脸识别 的有 效补充, 也可 以作为一种独立 的识别方式, 被 广大研究者所关注 一“ 人耳作为三维物体, 其深度信息具有更好的鉴 别性, 从三维人耳数据中提取的人耳结构信息受人 耳姿态变化 的影响较小 和 阂 的研究表 明 与二维人耳识别方法相比, 三维人耳识别具有 更高的准确性 , 因而近年来越来越多的研究者致力 于三维人耳识别的研究 一 进行三维人耳识别需 要解决的首要 问题是三维人耳数据的获取 , 三维激 光扫描仪是一种重要的三维数据获取方式 , 它能获 取较高精度 的三维数据 但 由于其采集方式不够灵 活 、扫描过程中限制条件较多且体积较为庞大, 使 其难 以应用于非打扰式的远距离身份识别 通过监 控摄像机采集图像是更为便捷和常用的非打扰式身 份识别的原始数据获取方式, 因此通过三维重建从 二维图像 中获取三维信息, 更适合于半受控和非受 控情况下的三维信息获取 相关研究工作和本文思路 三维人耳重建 目前, 在基于二维图像 的三维人耳重建方面的 相关研究还较少 , 尚没有成熟的理论和方法可供使 用, 对该领域进行 了初步探讨的研究组有香港理工 大学 研究小组 、北京科技大学穆志纯 研究组和迈阿密大学 研究组 , 已 有的研究工作可分为基于 理论的重建和基于 方法的重建 等 提出了一种半 自动的三维人耳重建 方法 , 将两幅不同角度的人耳图像分为四个子区域 , 手动均匀地在每个子区域内选择特征点, 然后通过 极几何约束和灰度相关约束在对应极线上寻找匹配 点, 最后用 算法重建 出三维人耳模型 该方法 首次尝试了使用 理论重建三维人耳 , 并取得 了一定的效果 等 ' 提 出了一种基于双 目视 觉原理的全 自动准稠密三维人耳重建方法 , 采用基 于 的特征点 提取与匹配方法获得种子点, 再用三角原理重建出 三维人耳模型后使用捆绑调整算法进行优化 , 该方 法可获得的三维空间点数 目大约为 。个 随后 等 ` 探讨了基于 快速局部描述子 的三维人耳重建方法 实验证 明, 该方法可以获得 大约 个三维空间点, 模型更为稠密, 且 计算效率略有提高 小组提 出了一种基于 理论的三维人耳重建方法 , 从一组视频序 列中提取信息 , 实现 了基于单幅图片的三维人耳重 建 以上几个研 究组的工作极大地推 动了三 维人 耳重建研究的发展 , 但仍存在不足 等提 出的 方法需要手动在两幅不 同角度的人耳图片上均匀地 选择特征点, 重建 的三 维点个数为 个, 实 验结果显示 内耳沟 回部分 的重建效果一般, 较难满 足实际人耳识别系统 的要求 等提 出的方法 获得了较稠密的三维空间点, 但获取的点个数不稳 定 , 且计算量大 、 耗时长 , 距离实 际系统对实时性 的需要仍有一定差距 记 等提 出的基于 理论的重建方法, 由于需要利用图像中场景的光照 和反射信息来进行重建, 因而对图像的质量和拍摄 环境要求较高 , 对光照尤其敏感, 另外 问题中 待求参数 比方程个数多, 在使用该方法进行三维重 建时, 通常需要加入约束条件 , 从而导致 算法 本身不稳定, 精确性和鲁棒性还有待提高 除以上几个研究组 的工作之外, 年英 国 南安普顿大学 的 研究组也进行了和三 维人耳重建相关 的研究 , 他们结合 形变模 型 理论 , 使用美 国圣母大学 , 人耳库中的 个样本作为训练集 , 重建了人头部侧面 的模 型 由 于该研究组所重建的人头部侧面区域包含了人耳 区 域, 因而认为它也是 已有的三维人耳重建工作之一 但是 , 作为三维人耳重建研究, 该工作存在 以下不 足 人耳区域的特征点个数很少 由于人耳 只是作为头部侧面的一部分 , 重建时没有考虑人耳 自身的结构特 点, 因此人耳部分的重建效果难以衡 量 形变模型概述及本文思路 三维形变模型方法, 是 由德国 研究 所 的 和 提 出的 '“ , 它是一种基于统计 学的建模方法 , 其基本思想是线性组合, 即某一类 对象基底的线性组合可以用来表示该类对象 , 该方 法使用单幅二维 图像即可生成对应的三维模型 三 维形变模型方法在三维人脸重建领域已被广泛和深 入的研究, 主要的研究小组包括德国 一 研