,696 北京科技大学学报 第35卷 究所的Blanz和Vetter研究组，英国南安普顿大学时，综合考虑了x、y、z三个方向上坐标的分布特 的Mark Nixon研究组，北京工业大学的尹宝才研 点.由于三维数据在xOy平面上呈阵列状排列，考 究组，清华大学的丁晓青研究组以及中科院计算所 虑到这一特性，在x、y方向上应用最近邻插值的方 的陈熙林、高文、柴秀娟研究组等 法；对于深度z坐标，由于人耳表面起伏多变，本 在三维人耳重建领域，基于形变模型方法的研 文使用三次样条插值来实现之方向的插值，整个样 究仍处于起步阶段，尤其在国内，已发表的工作中 条曲线具有很好的光滑性，恰好可以光滑地模拟人 尚未出现这方面的研究成果.研究表明，人脸的结 耳表面高低起伏的深度变化.最后采用高斯平滑对 构和纹理特征与人耳有很大区别，基于二维图像的 原始的三维人耳扫描数据进行降噪处理， 三维人脸重建方法并不能直接应用于三维人耳模型 3基于分级三角网格的稠密对应 的重建16).受三维人脸形变模型研究的启发，通过 对三维重建理论和已有三维人耳重建方法的深入了 人耳三维样本数据间能够进行线性运算是建 解，并结合人耳自身的结构特征，本文提出了三维 立形变模型的基础，为实现线性运算，需要在三维 人耳形变模型及基于它的三维人耳重建方法，该方 人耳数据间建立点与点的稠密对应.由于不同人的 法只需要一幅二维人耳图像作为输入，即可重建出 耳朵长宽形状均存在差异，因此不是简单的空间坐 其对应的三维人耳形状 标位置上的对应，而应该满足以下两个特点：(1)生 研究基于形变模型的重建方法有几个关键问 理对应，即点和点之间的对应是基于生理特征的对 题需要解决：一是样本数据对齐问题，需要消除样 应，例如，样本耳A的耳洞对应样本耳B的耳洞，A 本数据的姿态、位置等影响，仅保留形状信息；二 的耳屏间切迹同样也要对应B的耳屏间切迹；（②） 是稠密对应问题，指实现训练集中所有三维样本数 稠密性，点对应必须达到像素级稠密的程度 据间基于生理位置的对应：三是如何根据输入的单 在基于形变模型的人脸重建研究中，常用光流 幅图片来重建三维人耳，即模型参数的求解.结合 及其改进算法或网格重采样19！等方法进行稠密对 人耳自身的结构特点，本文针对以上关键问题均创 应，光流计算更多应用于同一个物体不同帧的视频 新性地提出了相应的解决方案.主要研究内容包括： 分析中，因为它的前提是两幅图像间的连续光滑变 对原始的三维人耳样本数据进行预处理：根据人耳 化，而形变模型中，需要对应的是差异较大的不同 的结构特征，提出基于分级三角网格的稠密对应方 个体，因此光流对应效果并不理想19，而网格重采 法；对齐稠密对应后的三维人耳形状，消除姿态、 样等方法是结合人脸的形状特征提出的，并不能适 位置等因素的影响；构建三维人耳形变模型并进行 用于人耳.考虑到人耳形状的特殊性：类似于扇形， 模型优化，实现基于单幅二维人耳图片的三维人耳 且不像人脸那样左右对称，本文提出了一种基于分 重建 级三角网格的稠密对应方法，实现不同人耳间基于 生理特征的点稠密对应，步骤如下 2数据预处理 第1步中垂线法确定外耳特征点：人耳最明 本课题使用的数据是美国圣母大学数据库17) 显的特征就是外耳轮廓，包含着丰富的鉴别信息， 的子集J2,这些数据是使用Minolta Vivid910深度 但是外耳轮廓除了起点和终点之外，其他位置没有 扫描仪获得的.三维扫描仪在获取点云数据时，由 明显的特征.本文提出了一种中垂线定位规则：首 于发丝遮挡、光照影响、不平滑的表面结构及扫描 先定位外耳轮廓的起点和终点，称为1点和2点： 设备本身的缺陷等因素影响，常会出现数据丢失或 接着作1、2点连线的中垂线交外耳轮廓与3点；依 者失真.例如，在耳洞或者发丝遮挡区域容易出现 次连接1、3和2、3，重复上述步骤.进一步的研究 数据丢失形成空洞，而在局部表面不光滑的区域则 表明，外耳轮廓点取33个能更好地拟合外耳，尤其 容易产生毛刺.因而在构建形变模型之前，先要对 是耳垂和耳尖部位不太规则的轮廓. 原始的三维数据进行补洞和平滑的预处理 第2步确定内耳特征点：内耳蕴含了丰富的 本文研究三维人耳的重建，首先需要从侧脸图 鉴别信息，且结构特征明显，这里直接根据生理特 像中准确提取人耳区域，这里本文用改进的Ad 征选择了五个明显的内耳特征点，分别为外耳轮廓 aboost算法[18)从二维侧脸图像中检测并提取人耳 起止点连线的中点、耳屏间切迹、屏轮切迹、耳轮 区域，然后根据二维人耳坐标在三维数据中分割出 脚与对耳轮交点以及对耳轮前脚与耳轮脚的交点. 人耳的三维数据.对原始的三维人耳数据进行补洞 第3步粗网格划分：用得到的外耳和内耳特· · 北 京 科 技 大 学 学 报 第 卷 究所的 和 研究组, 英国南安普顿大学 的 议 研 究组 , 北京工业大学的尹宝才研 究组, 清华大学 的丁晓青研究组以及中科院计算所 的陈熙林 、高文 、柴秀娟研究组等 在三维人耳重建领域 , 基于形变模型方法的研 究仍处于起步阶段 , 尤其在国内, 已发表的工作中 尚未出现这方面的研究成果 研究表 明, 人脸 的结 构和纹理特征与人耳有很大区别, 基 于二维 图像 的 三维人脸重建方法并不能直接应用于三维人耳模型 的重建 受三维人脸形变模型研究的启发 , 通过 对三维重建理论和 已有三维人耳重建方法的深入 了 解 , 并结合人耳 自身 的结构特征, 本文提 出了三维 人耳形变模型及基于它 的三维人耳重建方法 , 该方 法只需要一幅二维人耳 图像作为输入, 即可重建 出 其对应的三维人耳形状 研究基 于形变模型 的重建方法有几个关键 问 题需要解决 一是样本数据对齐 问题 , 需要消除样 本数据的姿态 、 位置等影响, 仅保留形状信息 二 是稠密对应 问题 , 指实现训练集 中所有三维样本数 据 间基于生理位置的对应 三是如何根据输入的单 幅 图片来重建三维人耳 , 即模型参数 的求解 结合 人耳 自身的结构特点, 本文针对 以上关键 问题均创 新性地提 出了相应的解决方案 主要研究内容包括 对原始的三维人耳样本数据进行预处理 根据人耳 的结构特征 , 提出基于分级三角网格的稠密对应方 法 对齐稠密对应后的三维人耳形状 , 消除姿态 、 位置等 因素的影响 构建三维人耳形变模型并进行 模型优化 , 实现基于单幅二维人耳 图片的三维人耳 重建 时 , 综合考虑了 、夕、 三个方 向上坐标 的分布特 点 由于三维数据在 平面上呈阵列状排列, 考 虑到这一特性 , 在 、夕方向上应用最近邻插值的方 法 对于深度 坐标 , 由于人耳表面起伏多变 , 本 文使用三 次样条插值来实现 方 向的插值 , 整个样 条 曲线具有很好 的光滑性, 恰好可以光滑地模拟人 耳表面高低起伏 的深度变化 最后采用 高斯平滑对 原始 的三维人耳扫描数据进行降噪处理 数据预处理 本课题 使用 的数据是美国圣母大学数据库 ' 的子集 , 这些数据是使用 深度 扫描仪获得的 三维扫描仪在获取点云数据 时, 由 于发丝遮挡 、光照影响 、不平滑 的表面结构及扫描 设备本身 的缺陷等因素影响, 常会 出现数据丢失或 者失真 例如 , 在耳洞或者发丝遮挡 区域容易出现 数据丢失形成空洞, 而在局 部表面不光滑的区域则 容易产生毛刺 因而在构建形变模型之前 , 先要对 原始 的三维数据进行补洞和平滑 的预处理 本文研究三维人耳的重建 , 首先需要从侧脸 图 像中准确提取人耳区域 , 这里本文用改进 的 七算法 从二维侧脸图像中检测并提取人耳 区域 , 然后根据二维人耳坐标在三维数据 中分割出 人耳的三维数据 对原始的三维人耳数据进行补洞 基于分级三角网格的稠密对应 人耳三维样本数据间能够进行线性运 算是建 立形变模型的基础 , 为实现线性运算 , 需要在三维 人耳数据 间建立 点与点的稠密对应 由于不 同人的 耳朵长宽形状均存在差异 , 因此不是简单的空间坐 标位置上的对应 , 而应该满足 以下两个特 点 生 理对应 , 即点和点之间的对应 是基于生理特征的对 应, 例如, 样本耳 的耳洞对应样本耳 的耳洞, 的耳屏 间切迹 同样也要对应 的耳屏 间切迹 稠密性, 点对应必须达到像素级稠密的程度 在基于形变模型的人脸重建研究中, 常用光流 及其改进算法或网格重采样 `” 等方法进行稠密对 应 , 光流计算更多应用于同一个物体不同帧的视频 分析中, 因为它的前提是两幅图像间的连续光滑变 化 , 而形变模型中, 需要对应的是差异较大的不 同 个体, 因此光流对应效果并不理想 `”, 而网格重采 样等方法是结合人脸 的形状特征提 出的, 并不能适 用于人耳 考虑到人耳形状 的特殊性 类似于扇形 , 且不像人脸那样左右对称 , 本文提出了一种基于分 级三角 网格 的稠密对应方法, 实现不同人耳间基于 生理特征的点稠密对应 , 步骤如下 第 步 中垂线法确定外耳特征点 人耳最 明 显的特征就是外耳轮廓, 包含着丰富的鉴别信息 , 但是外耳轮廓 除了起点和终点之外, 其他位置没有 明显 的特征 本文提出了一种 中垂线定位规则 首 先定位外耳轮廓 的起点和终点, 称为 点和 点 接着作 、 点连线的中垂线交外耳轮廓与 点 依 次连接 、 和 、 , 重复上述步骤 进一步的研究 表 明, 外耳轮廓点取 个能更好地拟合外耳, 尤其 是耳垂和耳尖部位不太规则的轮廓 第 步 确定 内耳特征点 内耳蕴含 了丰富的 鉴别信息, 且结构特征明显, 这里直接根据生理特 征选择了五个明显的内耳特征点, 分别为外耳轮廓 起止点连线的中点 、耳屏间切迹 、屏轮切迹 、耳轮 脚与对耳轮交点以及对耳轮前脚与耳轮脚的交点 第 步 粗网格划分 用得到的外耳和内耳特