第7卷第5期 智能系统学报 Vol.7 No.5 2012年10月 CAAI Transactions on Intelligent Systems 0ct.2012 D0I:10.3969/j.issn.1673-4785.201204016 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120907.1706.002.html 增强现实光照方向估计方法评述与展望 郑毅123，郑苹4 (1.南京航空航天大学民航/飞行学院，江苏南京210016；2.山东工商学院信息与电子工程学院，山东烟台 264005;3.山东工商学院智能信息处理山东省高校重点实验宝，山东烟台264005；4.华中科技大学图像识别与人 工智能研究所，湖北武汉430074)】 摘要：光照一致性是增强现实中实现虚实融合的重要方面，实时地估计出户外场景中的光照方向，对实现户外场 景光照一致性和增强真实感具有重要意义.针对光照方向估计问题，首先归纳了户外场景光照方向估计的特点，把 现有的光照方向估计方法分为借助光测球等特殊标定物的估算方法、立体视觉法和人工智能法3类方法.然后总结 了各类方法的基本原理和有代表性的研究工作，并且比较了各类方法的优缺点和适用范围.最后，根据实际应用中 存在的问题和挑战，展望了户外增强现实系统光照方向估计的研究方向， 关键词：增强现实；光照一致性；光照方向估计：立体视觉；人工智能 中图分类号：TP391.41文献标志码：A文章编号：16734785(2012)05038909 Comments and perspectives on illumination direction estimation methods in augmented reality ZHENG Yi'2.3,ZHENG Ping (1.College of Civil Aviation,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;2.School of Information and E- lectronic Engineering,Shandong Institute of Business and Technology,Yantai 26400,China;3.Key Laboratory of Intelligent Information Processing in Universities of Shandong,Shandong Institute of Business and Technology,Yantai 264005,China;4.Institute for Pattem Rec- ognition and Artificial Intelligence,Huazhong University of Science and Technology,Wuhan 430074,China) Abstract:Illumination consistency plays an important role in merging virtual objects into real scenes for augmented reality.Real-time illumination direction estimation for outdoor scenes is important for both illumination consistency and high realism of augmented reality.Aiming at problems of illumination direction estimation,characteristics of il- lumination direction estimation for outdoor scenes are generalized,and the taxonomy of illumination direction esti- mation methods is presented.Existing illumination direction estimation methods consist of light probe sphere based method,stereo vision based method and artificial intelligence based method.Relevant fundamental principles and typical algorithms are concluded,and their advantages and disadvantages are compared in detail.Finally,accord- ing to existing problems and challenges in actual applications,future research trends of illumination direction esti- mation for outdoor augmented reality systems are foreseen. Keywords:augmented reality;illumination consistency;illumination direction estimation;stereo vision;artificial intelligence 增强现实是虚拟现实研究领域的重要分支，是一 技术，并能支持用户与其进行交互121.国家科技部 种能把计算机产生的虚拟物体或系统提示信息叠加 “863”计划信息技术领域办公室指出，虚实融合是虚 到真实场景中，实现对真实场景有效扩充和增强的新 拟现实技术的重要发展方向，在复杂产品设计、重大 收稿日期：2012-04-20.网络出版日期：20120907. 工程论证等诸多领域具有重要的应用价值3).光照一 基金项目：国家自然科学基金资助项目(60970105,61173173)：山东 致性是增强现实中实现虚实融合的一个重要方 省住房和城乡建设厅科技计划项目(2011YK060);山东省 高等学校科研计划项目(J11LG12). 面4.为了实现虚拟物体与真实场景的光照一致性， 通信作者：郑毅.E-mail:zhengyi@nuaa.ed血.cm, 首先需要由场景图像估算出光照参数，然后利用计算
·390· 智能系统学报 第7卷 机图形学的光照算法计算真实场景光照对虚拟物体 的夹角，光源的倾角Y是光源的入射光线与Z轴正 的影响，如明暗、反射、阴影效果等.因此，在增强现实 方向的夹角.其中，XOZ平面是成像平面，Y轴正方 光照一致性研究中，估计真实场景的光照参数是对虚 向指向用户. 拟物体进行真实感绘制的前提.光照参数包括光源类 1.2户外光照方向估计的特点 型、数量、光照方向和光照强度等。 光照方向估计是计算机视觉的研究重点，除了 迄今为止，国内外研究者的研究工作主要集中 增强现实外，还涉及到人脸识别4、图像篡改鉴 在室内环境下，对户外环境中的光照一致性研究相 别182]等领域，是一个具有共性的研究课题.但在 对较少.户外增强现实系统常用于城市建设6]、地 户外增强现实领域中，光照方向估计具有自己的特 理信息系统与导航7]、航空维修9、遗址重现 点，即户外光源的复杂性、户外场景的随机性、光照 遥操作机器人]和信息化武器装备[213]等领域，为 方向的三维性和算法的实时性。 了实现场景光照一致性和增强真实感，需要实时地 估计出户外场景中的光照方向， 1)户外光源的复杂性是指户外存在太阳光、天 空光、环境光等自然光源和多种类型的人工光源，并 1户外光照模型与光照方向估计 且户外场景中物体的几何复杂性、丰富的材质表面 1.1户外光照模型 反射特性会影响光线的传播路径，因此户外光照情 户外存在太阳光、天空光、环境光等自然光源和 况比实验室中可以控制光源强度和方向的人工光源 多种类型的人工光源，而且户外物体复杂的几何外 情况更复杂. 形、丰富的纹理特征和表面反射特性也会影响光线 2)户外场景的随机性是指随着用户视点的移 的传播路径，因此户外环境中的光照情况非常复杂 动，用户观察到的场景图像会发生变化，场景中目标 多种自然光源和人工光源作用于户外环境，共同决 的几何信息和表面反射特性是未知的，这与室内目 定户外环境中物体的光照情况.图1是户外环境中 标的几何信息和表面反射特性是已知的、可作为系 光照模型示意图 统工作的先验知识是截然不同的. 次太阳光 3)光照方向的三维性是指在增强现实系统呈 法向量 环境光 现给用户的三维场景中，光照方向包括光源的偏角 反射光 和倾角，如图2所示.在人脸识别和图像篡改鉴别领 域中，光照方向通常只有二维性，仅指光源的倾角， 物体表面而 不包括光源的偏角。 图1户外光照模型 4)算法的实时性是指能够实时检测出真实场 Fig.1 Outdoor illumination model 景的光照变化，保证虚拟物体的光照随着真实场景 光照变化实时改变，否则虚拟物体光照变化的延迟 0光源 会使用户立刻察觉到虚拟物体外观与周围环境不协 调，影响虚拟物体与真实场景的无缝融合 人射光线 2光照方向估计方法 在室内环境中，可以事先获得场景中物体的几 何、材质和纹理等信息，并且能够方便地控制光源类 型、数量、光照方向和光照强度等参数，便于测试和 仿真.因此，国内外研究者们对光照方向估计的研究 图2光源的偏角？和倾角Y 主要针对室内情况，并且大多数研究是在假设场景 Fig.2 Tilt angle r and slant angle y of an illuminant 中只存在类型已知的单一光源的前提下展开的，对 光源的光照方向包括偏角和倾角，定义如图2 所示.光源的偏角？是光源的入射光线与XOZ平面 户外光照方向估计的研究相对较少 在一些户外增强现实系统中，用户利用全球定
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 .391· 位系统确定自已的位置，结合系统工作时间，计算太 光照方向和光照强度的估算方法[26].这种方法使用 阳光的光照方向.这种方法虽然简单、直接，但是只 表面同时具有漫反射特性和镜面反射特性的光测 能估算出用户所在位置的太阳光的光照方向；如果 球，不需要光测球半径和位置作为先验知识，而是通 场景中还存在其他类型的照明光源，那么这种方法 过光测球的立体图像对求出光测球半径和中心位 就不再适用.本文后续章节没有对这种方法进一步 置，然后分离光测球图像中的漫反射分量和镜面反 归纳总结 射分量，前者用于估计场景中光源的光照强度，后者 2.1光照方向估计方法分类 用于估计光源的光照方向.之后，他们又换用具有明 根据是否需要借助光测球等特殊标定物，可以 亮表面的光测球，通过光测球立体图像对的镜面反 把光照方向估计方法分为两大类，即借助光测球等 射面片匹配误差最小化方法，能够估算出场景中多 特殊标定物的估算方法与不需要特殊标定物的估算 个面光源的尺寸和位置信息[.在文献[2627]的 方法.其中，不需要特殊标定物的估算方法又可以细 研究基础上，Zhou等构建了一个估计场景光照参数 分为立体视觉法和人工智能法.图3是光照方向估 的通用框架，能够同时估算场景中多个不同类型光 计方法分类图 源的光照参数[8].Ma等采集具有镜面反射特性的 光照方向估计方法 已知尺寸的光测球的图像，通过最大最小距离法估 计光源数量和高光区域的形心位置，并利用c均值 聚类法优化形心位置，然后通过高光区域形心位置 借助光测球等 不需要特殊标 和用户视点位置计算出场景中多个光源的光照方 特殊标定物 定物 向291 在这类方法中，光测球的几何尺寸和表面反射 特性可以作为估算场景光照参数的先验知识.但是， 工 体视觉法 智能法 光测球携带不便，而且场景图像中会出现光测球；当 用户视点移动时，场景会发生变化，需要采集光测球 图像来重新估算场景的光照参数，因此这类方法在 图3光照方向估计方法分类 使用中存在较大的局限性 Fig.3 Taxonomy of illumination direction estimation 2.1.2立体视觉法 methods 2.1.1借助光测球等特殊标定物的估算方法 使用几何尺寸和表面反射特性已知的光测球作 早期大多数研究者们借助几何尺寸和表面反射 为标定物，可以为估算场景光照参数提供一些已知 特性已知的光测球来估算场景中的光照参数.Zhang 条件：但是，在实际应用中光测球携带不方便，而且 等利用最小二乘法和迭代方法确定光测球上关键点 有时不希望场景图像中出现光测球.利用场景中的 的三维几何信息，然后估算出场景中多个光源的光 明暗、阴影或局部几何信息，通过立体视觉方法，也 照方向和光照强度等参数).这种方法需要已知光 可以为估算场景中的光照参数提供条件， 测球的半径.C.S.Bouganis等把光测球图像分割成 Zheng等假设场景中的物体具有朗伯表面反射 若干子区域，每个子区域对应一个虚拟光源，利用相 特性，使用沿图像轮廓的明暗信息，可以估算出光源 邻子区域虚拟光源的差别来估计光照参数24).这种 的偏角和倾角，并能够重建物体的三维形状「[∞).K, 方法鲁棒性好，精度高，但是必须使用具有朗伯表面 Hara等提出了2种根据单一视图估计光源位置的 反射特性的光测球作为标定物.Feng使用2个具有 方法，这2种方法不需要假设光源位于无限远处，因 朗伯表面反射特性的光测球作为标定物，通过图像 此适用于室内光源的光照方向估计3].第1种方法 分析和空间解析几何，能够估算出场景中的光照参 要求场景中物体表面具有均匀漫反射特性，使用迭 数2s).但是eng的方法属于后处理，不能实时得到 代松弛法分离镜面反射分量和漫反射分量，通过拟 满足光照一致性的虚实融合图像， 合漫反射分量估算光源位置.第2种方法以镜面反 Zou等提出了一种能够同时确定多个光源的 射分量图像作为输入，通过线性化Torrance-Sparrow
·392 智能系统学报 第7卷 镜面反射模型和最优化采样相关系数，能够同时估 用于户外场合： 算出镜面反射参数和光源位置，但是由于缺少漫反 2.1.3人工智能法 射分量信息，因此鲁棒性较差.这2种方法都要求已 准确估计出场景中的光照方向，需要已知场景 知场景三维几何信息，并且场景中只存在单一的点 图像、场景深度信息和场景中物体的表面反射率.缺 光源.Xe等分2步来估计自然照明条件下单一点 少其中任意一个信息，光照方向恢复就会成为不适 光源的光照方向和光照强度，首先把采集到的场景 定问题.对于工作于户外环境的增强现实系统来说， 图像投影到一个基于球面谐波基函数的正交线性子 视，点会随着用户走动而发生改变，场景也会随之变 空间，然后在这个低维子空间中计算光照参数[32]. 化，因此场景是动态变化的.对于动态场景而言，场 但是，这种方法需要已知场景的三维几何信息，并且 景中物体的几何尺寸、表面反射率在绝大多数情况 只适用于光照方问与摄像机轴的夹角小于55°的情 下是未知的.在这种情况下，估算场景光照方向属于 况.M.Bingham等利用场景中阴影和特征点之间的 不适定问题.在没有先验知识作为约束条件使不适 对应关系来检测场景中的光照信息，进而确定光源 定问题适定化的情况下，神经网络和支持向量机等 的三维空间坐标3].但是该方法假设场景中只存在 人工智能方法是较好的解决工具 1个光源，并且要求物体的阴影投射到平坦表面上 田英利等提出了一种使用神经网络估计光照参 在实际应用中，户外可能存在多个不同类型的光源， 数的方法，该方法适用于场景中存在多个光源的情 并且物体阴影可能会投射在上下交叠的其他物体 况9].但是，该方法需要事先使用标定物图像对神 上，因此这种方法仅适用于实验室理论研究，不适用 经网络进行训练.当视点发生移动时，原先训练得到 于户外情况 的网络权值不再适用，需要重新采集标定物图像进 立体视觉法也可以用于场景中存在多个光源的 行训练，运算量较大，难以满足户外光照估计的实时 情况.I.Sato等利用入射光产生的阴影信息，能够估 性要求.S.Y.Cho等在研究从明暗恢复形状问题时， 算出复杂场景的光照分布34].但是，这种方法要求 提出了一种估计场景光照参数的混合反射模型，适 产生遮挡阴影的2个物体的形状已知，并且接受阴 用于场景中物体表面反射率未知、图像中含有较多 影投射的物体的表面反射率也是已知量.Wang等不 噪声并且存在较强镜面反射的情况[0.该模型使用 需要在场景中放置光测球，只需已知场景的局部几 前馈神经网络归一化漫反射项，使用径向基函数神 何信息，再结合场景中的明暗和阴影信息，就可以从 经网络归一化镜面反射项，但这2种神经网络在使 单一场景图像中估算出多个方向光源的光照方 用前都需要训练，难以满足户外动态场景光照参数 向3s1.之后，Wang等对算法进行了改进，将明暗和 估计的实时性要求.S.Karungaru等提出了一种遗传 阴影信息同时处理，减少了运算时间[].山等综合 算法和神经网络相结合的场景光照参数估计方 利用场景中的明暗、阴影和高光区域等信息，提出了 法12]，该方法使用遗传算法筛选神经网络的输入 一种新的方向光源参数估计算法37].与文献[35]的 数据，可以加速神经网络的训练和运行速度.但是该 方法相比，该方法不需要假设物体表面具有朗伯表 方法也仅适用于视点固定的情况，当视点变化时，需 面反射特性，因此可用于纹理场景的光照恢复.姚远 要重新训练神经网络，才能得到适用于新场景的网 等提出了一种使用普通定位标记的场景光源实时检 络权值.C.K.Chow等提出了一种表层输入实值输 测方法].该方法能够确定光源位置，估算光源的 出回归网络，结合场景深度信息，能够以较高精度估 光照强度和颜色，并且能够在运行过程中创建一个 计出场景中的光照方向3但是，该方法所用的场 或多个虚拟光源来模拟与真实场景一致的光照效 景深度信息是由三维扫描仪获得的，这增加了系统 果.但该方法依赖场景中的定位标记，因此只适合在 的成本和复杂度；并且这种表层输入实值输出回归 室内建模虚拟光源，不适用于户外场合 网络实质上是径向基函数神经网络，使用前需要进 对于户外增强现实系统来说，场景会随着用户 行训练.当视点变化时，场景也会发生变化，同样需 视点移动而发生变化，户外场景中的明暗、阴影或局 要重新训练神经网络，以得到适用于新场景的网络 部几何信息有时难以准确获取，因此这类方法较少 权值.因此，这种神经网络也不能满足户外动态场景
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 ·393· 光照方向估计的实时性要求。 人脸识别中复杂的、非线性光照方向的分类问题，分 除了神经网络外，人工智能范畴内的其他方法 类准确率达到89.16%.但是，支持向量机在使 也被用于估计场景中的光照方向.P.Nius等提出 用前也需要训练，也不能满足户外动态场景光照方 了一种根据单一图像估计光照方向的方法4).该方 向估计的实时性要求。 法使用颜色和边缘信息，提取多个具有朗伯表面反 2.2研究现状评价 射特性物体的封闭轮廓，利用轮廓的亮度值，估计出 将上述3类光照方向估计方法的特点、局限性 对应于每一个封闭轮廓的光照方向，然后使用贝叶 和适用范围进行比较，如表1所示.由表1可以看 斯网络推理确定概率最大的光照方向为场景光源的 出，最初研究者们大多借助几何尺寸和表面反射率 光照方向.这种方法要求提取的物体轮廓是封闭的， 已知的光测球来估算场景的光照参数，此时光照方 因此适用范围受到限制.M.Chantler等提出了一种 向估计问题已知信息充足，属于适定问题.为了提高 能够同时进行表面纹理特征分类和光照方向估计的 光照方向估计算法的实用性，摆脱对类似光测球等 分类器5]，这种分类器是利用与光照方向相关的纹 标定物的依赖，Zheng和I.Sato等众多研究者们对 理特征构建的，能够估计出光源的偏角和倾角，分类 不需场景物体的几何、材质、纹理等先验知识的光照 准确率可以达到98%.但是它在使用前必须训练， 方向估计方法展开研究，取得了一系列研究成果；但 在场景动态变化时不能实时估计光照方向.文献 此时光照方向估计问题缺少足够的求解信息，属于 [46]研究表明，在一定假设条件下朗伯凸表面图像 不适定问题，可能会估算出错误的光照参数.为了能 可表示为该凸表面9个球面谐波基图像的线性组 够在缺少相关信息情况下提高不适定问题的求解准 合，这9个线性组合系数反映了图像光照情况.卿来 确度，研究者们提出使用人工智能方法来估算场景 云等利用文献[46]的方法估计图像的光照系数，并 光照参数，使用的数学工具有反向传播神经网络、径 将该系数用于光照方向估计与光照补偿，其中光照 向基函数神经网络和支持向量机等；但是它们在使 方向估计也是利用分类器完成的，分类器在使用前 用前都需要训练，不能满足户外动态场景光照方向 也必须训练4].孙雪梅等提出采用支持向量机解决 估计的实时性要求。 表1光照方向估计方法比较 Table 1 Comparison of illumination direction estimation methods 方法 特点 局限性 适用范围 需要携带光测球；场景图像中出现光 借助光测球等特殊标 利用光测球图像获取光照参数 测球：视点移动时，需要重新采集光测室内和户外环境 定物的估算方法 球图像来估算光照参数 利用明暗、阴影或局部几何信息要求场景中的明暗、阴影或局部几何 立体视觉法 室内环境 获取光照参数 信息已知，或易于获取 使用神经网络或支持向量机等方视点移动时，需要重新训练，才能得到 人工智能法 室内和户外静态场景 法获取光照参数 适用于新场景的网络权值，实时性差 3 总结与展望 根据当前的研究现状和应用需求，光照方向估 计存在的主要问题和挑战有： 增强现实中的光照方向估计问题的提出，已有 1)实时性问题.立体视觉法和人工智能法都存 近20年的时间，这期间有大量的研究者针对不同的 在运算量大的问题，导致算法实时性较差，对于立体 应用环境提出了各自的解决方法，但是光照方向估 视觉法而言，由于需要从场景图像中获取明暗、阴影 计问题并没有得到全面解决，它仍然是一项颇具挑 或局部几何信息，因此算法耗时较长.对于人工智能 战性的研究课题 法而言，当场景随着用户视点移动而发生变化时，所
·394 智能系统学报 第7卷 用的神经网络和支持向量机等都需要重新训练，难 法向量图是确定场景光照方向不可或缺的条件，在 以满足系统实时性和实用性的要求。 图像中的最亮点处，表面法向量方向与光源的光照 2)不适用于户外动态场景.由于户外光源的复 方向相同.物体表面法向量图是由物体表面光学反 杂性和户外场景的随机性，一些室内情况下可以使 射特性决定的.场景中物体的表面可能同时具有漫 用的光照参数估计方法不能直接推广到户外使用. 反射和镜面反射的特性，不能简单地假设物体表面 目前绝大多数光照方向估计方法仅适用于室内静态 只具有单一的光学反射特性.准确重建出场景中物 场景或者户外缓慢变化的场景，不适用于户外动态 体表面的光学反射特性，再结合视点位置和物体的 场景，适用范围受到限制. 三维几何信息，就可以估算出场景中的光照方向.因 针对上述问题，在未来一段时间内，光照方向估 此对场景中任意物体表面光学反射特性的建模，是 计问题的研究可以从以下几个方面展开. 项具有挑战性和重要意义的研究工作 1)采用CPU+GPU模式.图形处理器(raphics 在增强现实系统中实现良好的虚实融合效果， processing unit,GPU)的运算性能近l0年来大大提 需要根据场景图像估算出光照参数.户外光照方向 高，其应用已经从矩阵计算、实时渲染和并行图像处 估计方法的研究，是当今增强现实技术领域的研究 理等传统领域过渡到通用计算领域？49，利用GPU 热点和难点，现有的各种方法离实际应用还有一段 的并行计算能力，将光照方向估计方法中可以并行 距离.因此，在未来一段时间内，还需要在这一领域 运算的模块移植到GPU上，分担CPU的负荷，可以 进行更加深入细致的研究. 提高系统运行效率.通用GPU具有多核流水线 参考文献： 处理架构和全局、本地内存层次体系，如何进行光照 方向估计算法的任务分解、并行编程、映射到通用 [1]朱淼良，姚远，蒋云良.增强现实综述[J].中国图象图形 GPU的渲染单元、子任务调度以及减少内存层次之 学报，2004,9(7)：767-774. 间的数据传输等，都需要深人研究， ZHU Miaoliang,YAO Yuan,JIANG Yunliang.A survey on 2)适用于户外动态场景的实时光照方向估计 augmented reality [J].Joumal of Image and Graphics, 2004,9(7):767-774 方法.对于工作于户外环境的增强现实系统来说，视 [2]赵沁平.虚拟现实综述[J].中国科学F辑：信息科学， 点会随着用户走动而发生改变，场景也会随之变化， 2009,39(1):246. 因此场景是动态变化的.对于动态场景而言，场景中 ZHAO Qinping.Overview of virtual reality [J].Science in 物体的几何尺寸、表面反射率在绝大多数情况下是 China Series F:Information Sciences,2009,39(1):2-46. 未知的，一些室内情况下可以使用的光照参数估计 [3]科技部863计划信息技术领域办公室.国家高技术研究 方法不能直接推广到户外使用.在这种解算模型复 发展计划(863计划)信息技术领域“虚实融合的协同工 杂、缺少必要信息的情况下，使用神经网络等人工智 作环境技术与系统”重点项目申请指南[EB/OL] 能方法是较好的解决思路.例如，不同于传统的人工 (2008-11-19）[2012-04-20].htp:/www.most.gov.cn/ 神经网络，脉冲耦合神经网络是第3代神经网络的 tztg/200811/P020081217461996567919.pd. 一个重要分支，是以模仿猫、猴等小型哺乳动物的大 [4]全红艳，王长波，林俊隽.基于视觉的增强现实技术研究 脑视觉皮层神经元同步脉冲发放现象作为工作机 综述[J].机器人，2008,30(4)：379-384， 制，具有类似人类的视觉神经功能51们.而且，脉冲耦 QUAN Hongyan,WANG Changbo,LIN Junjuan.Survey of vision-based augmented reality technologies [J].Robot, 合神经网络是单层模型神经网络，不需要训练过程 2008,30(4):379-384. 即可实现模式识别、图像分割和目标分类等，因此非 [5]刘艳丽.室外场景的光照分析研究[D].杭州：浙江大学， 常适合实时图像处理环境5241.对于户外增强现实 2009:1-2. 系统而言，如果网络参数设置合理，就可以通过脉冲 LIU Yanli.Illumination estimation of outdoor scenes[D]. 耦合神经网络实时地估算出户外动态场景中的光照 Hangzhou:Zhejiang University,2009:1-2. 方向. [6]常勇，何宗宜.户外增强现实技术及其在地下管网3维 3)任意物体表面光学反射特性建模.物体表面 可视化中的应用[J].测绘通报，2005,51(11)：54-57
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 ·395· CHANG Yong,HE Zongyi.Technology of augmented reality 760-768. and its application in 3D visualization of underground pipe- QING Laiyun,SHAN Shiguang,CHEN Xilin,et al.Face line[J].Bulletin of Surveying and Mapping,2005,51 recognition under varying lighting based on the harmonic (11):54-57 images[J].Chinese Jourmal of Computers,2006,29(5): [7]杜清运，刘涛.户外增强现实地理信息系统原型设计与 760-768. 实现[J].武汉大学学报：信息科学版，2007,32(11)： [15]孙雪梅，苏菲，蔡安妮.基于分叉树和SVM的人脸图像 1046-1049. 光照方向估计[J].中国图象图形学报，2007,12(10)： DU Qingyun,LIU Tao.Design and implementation of a pro- 1885-1888 totype outdoor augmented reality GIS[J].Geomatics and SUN Xuemei,SU Fei,CAI Anni.Illumination direction Information Science of Wuhan University,2007,32(11): estimation in face recognition based on bifurcate tree and 1046-1049 SVM[J].Journal of Image and Graphics,2007,12(10): [8]石刚，田洪波，马小虎.基于增强现实的户外导航系统的 1885-1888. 设计与实现[J].苏州大学学报：自然科学版，2010,26 [16]陈晓钢，陆玲，刘向阳.经典光照模型实现人脸图像光 (3):4447. 照方向准确估计[J].计算机工程与应用，2009,45 SHI Gang,TIAN Hongbo,MA Xiaohu.Design and imple- (11):203-205 mentation of outdoor navigation system based on augmented CHEN Xiaogang,LU Ling,LIU Xiangyang.Accurate esti- reality[J].Journal of Suzhou University:Natural Science mation of face image illuminating direction based on classi- Edition,2010,26(3):4447. cal lighting model[J].Computer Engineering and Applica- [9]赵新灿，左洪福.增强现实技术在航空领城中的应用及 tions,2009,45(11):203-205. 展望[J].航空维修与工程，2008(6)：23-25. [17]张雯，梁艳梅，常胜江.基于方向扫描的图像光照补偿 ZHAO Xincan,ZUO Hongfu.Aviation applications and 算法[J].光电子·激光，2010,21(3)：435439 prospect of augmented reality[J].Aviation Maintenance ZHANG Wen,LIANG Yanmei,CHANG Shengjiang.Line Engineering,2008(6):23-25. scanning for illumination compensation of image[J].Jour- [10]陈靖，王涌天，林精敦，等.基于增强现实技术的圆明园景 nal of Optoelectronics.Laser,2010,21(3):435-439. 观数字重现[J].系统仿真学报，2010,22(2)：424428. [18]吴琼，李国辉，涂丹，等.面向真实性鉴别的数字图像盲取 CHEN Jing,WANG Yongtian,LIN Jingdun,et al.Digital 证技术综述[J].自动化学报，2008,34(12)：1458-1466. reconstruction of Yuan Ming Yuan based on augmented re- WU Qiong,LI Guohui,TU Dan,et al.A survey of blind ality technology[J].Journal of System Simulation,2010, digital image forensics technology for authenticity detection 22(2):424428. [J].Acta Automatica Sinica,2008,34 (12):1458- [11]贾庆轩，高欣，孙汉旭，等.面向机器人遥操作的预测图 1466. 形仿真技术[J].航空制造技术，2011(7)：6063. [19]FARID H.Image forgery detection[J].IEEE Signal Pro- JIA Qingxuan,GAO Xin,SUN Hanxu,et al.Predictive cessing Magazine,2009,26(2):16-25. graphical simulation technology for robot teleoperation[J]. [20]吕颖达，申铉京，苗健，等.基于光源方向不一致性的局 Aeronautical Manufacturing Technology,2011(7):60-63. 部光源图像盲鉴别方法[J].吉林大学学报：工学版， [12]HICKS J D,FLANAGAN R A,PETROV P V,et al.Eye 2010,40(6):1673-1677. kon:augmented reality for battlefield soldiers C]//Proceed- LU Yingda,SHEN Xuanjing,MIAO Jian,et al.Blind identi- ings of the 27th Annual NASA Goddard/IEEE Software Engi- fication for light source images based on inconsistency in light neering Workshop.Greenbelt,USA,2002:156-163. source direction[J].Joumal of Jilin University:Engineering [13]黄天智，刘越，王涌天，等.增强现实技术的军事应用与 and Technology Edition,2010,40(6):1673-1677 前景展望[J].兵工学报，2006,27(6)：1043-1046. [21]李叶舟，胡静，牛少彰，等.基于光照方向不一致的图像盲 HUANG Tianzhi,LIU Yue,WANG Yongtian,et al.Mili- 取证技术[J].北京邮电大学学报，2011,34(3)：26-30. tary applications and prospect of augmented reality[J]. LI Yezhou,HU Jing,NIU Shaozhang,et al.Exposing Acta Armamentarii,2006,27(6):1043-1046. digital image forgeries by detecting inconsistence in light [14]卿来云，山世光，陈熙霖，等.基于球面谐波基图像的任 source direction[J].Journal of Beijing University of Posts 意光照下的人脸识别[J].计算机学报，2006,29(5)： and Telecommunications,2011,34(3):26-30
·396· 智能系统学报 第7卷 [22]张闯，吕东辉.单幅图像估计光照方向算法研究及其应 2007,12(1):44-50. 用[J1.电视技术，2011,35(15)：4145， [33 BINGHAM M,TAYLOR D,GLEDHILL D,et al.Illumi- ZHANG Chuang,LU Donghui.Research and application nant condition matching in augmented reality:a multi-vi- of single image light direction estimation algorithm[]. sion,interest point based approach[C]//Proceedings of Video Engineering,2011,35(15):41-45. the 2009 6th Interational Conference on Computer Graph- 23]ZHANG Yufei,YANG Y H.Multiple illuminant direction ics,Imaging and Visualization:New Advances and detection with application to image synthesis[J].IEEE Trends.Tianjin,China,2009:57-61. Transactions on Patter Analysis and Machine Intelligence, [34]SATO I,SATO Y,IKEUCHI K.Illumination distribution 2001,23(8):915-920. from shadows[C]//Proceedings of the IEEE Computer So- 24]BOUGANIS C S,BROOKES M.Multiple light source de- ciety Conference on Computer Vision and Pattem Recogni- tection[J].IEEE Transactions on Pattern Analysis and tion.Fort Collins,USA,1999,1:306-312. Machine Intelligence,2004,26(4):509-514. [35]WANG Yang,SAMARAS D.Estimation of multiple direc- [25]FENG Yan.Estimation of light source environment for illu- tional light sources for synthesis of augmented reality ima- mination consistency of augmented reality C]//Proceed- ges[J].Graphical Models,2003,65(4):185-205. ings of the 1st International Congress on Image and Signal [36]WANG Yang,SAMARAS D.Estimation of multiple direc- Processing.Sanya,China,2008,3:771-775. tional illuminants from a single image[J].Image and Vi- 26]ZHOU Wei,KAMBHAMETTU C.Estimation of illuminant sion Computing,2008,26(9):1179-1195 direction and intensity of multiple light sources C]//Pro- [37]LI Yuanzhen,LIN S,LU Hanqing,et al.Multiple-cue il- ceedings of the 7th European Conference on Computer Vi- lumination estimation in textured scenes[C]//Proceedings sion.Copenhagen,Denmark,2002:206-220. of the Ninth IEEE Intemational Conference on Computer [27]ZHOU Wei,KAMBHAMETTU C.Estimation of the size Vision.Nice,France,2003,2:1366-1373. and location of multiple area light sources[C]//Proceed- [38]姚远，朱淼良，卢广.增强现实场景光源的实时检测方 ings of the 17th International Conference on Patter Recog- 法和真实感渲染框架[J].计算机辅助设计与图形学学 nition.Cambridge,UK,2004,3:214-217. 报，2006,18(8)：1270-1275. 28]ZHOU Wei,KAMBHAMETTU C.A unified framework for YAO Yuan,ZHU Miaoliang,LU Guang.A framework for scene illuminant estimation[].Image and Vision Compu- lighting detection and scene rendering in AR environment ting,2008,26(3):415429. [J].Joural of Computer-Aided Design Computer 29]MA Jintao,ZHOU Ya,HAO Qun,et al.Efficient estima- Graphics8,2006,18(8):1270-1275, tion of multiple illuminant directions using c-means cluste- [39]田英利，马颂德，徐孔达.未知光源位置环境中物体形 ring and self-correction for augmented reality [C]//Pro- 状恢复的神经网络方法研究[J].自动化学报，1999， ceedings of the 2009 8th IEEE/ACIS International Confer- 25(2):210-214. ence on Computer and Information Science.Shanghai, TIAN Yingli,MA Songde,TSUI H T.Shape recovery in China,2009:1106-1110. unknown environment by neural networks[J].Acta Auto- [30]ZHENG Qinfen,CHELLAPPA R.Estimation of illuminant matica Sinica,1999,25(2):210-214. direction,albedo,and shape from shading[J].IEEE [40]CHO S Y,CHOW T W S.Neural computation approach for Transactions on Pattern Analysis and Machine Intelligence, developing a 3-D shape reconstruction model J].IEEE 1991,13(7):680-702. Transactions on Neural Networks,2001,12(5):1204-1214. [31]HARA K,NISHINO K,IKEUCHI K.Light source posi- [41]KARUNGARU S,FUKUMI M,AKAMATSU N.Identif- tion and reflectance estimation from a single view without ying scene illumination using genetic algorithms and neural the distant illumination assumption[J].IEEE Transactions networks[C]//Proceedings of the 9th International Confer- on Pattern Analysis and Machine Intelligence,2005,27 ence on Neural Information Processing.Singapore,2002, (4):493-505. 2:881-885. [32]XIE Feng,TAO Linmi,XU Guangyou.Estimating illumi- [42]KARUNGARU S,FUKUMI M,AKAMATSU N.Neural net- nation parameters using spherical harmonics coefficients in works and genetic algorithms for leamning the scene illumina- frequency space[J].Tsinghua Science and Technology, tion in color images C]//Proceedings of the 2003 IEEE In-
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 ·397 ternational Symposium on Computational Intelligence in Ro- LU Fengshun,SONG Jungiang,YIN Fukang,et al.Sur- botics and Automation.Kobe,Japan,2003,3:1085-1089. vey of CPU/GPU synergetic parallel computing[J].Com- [43]CHOW C K,YUEN S Y.Illumination direction estimation puter Science,2011,38(3):5-9,46. for augmented reality using a surface input real valued out- [51]ECKHORN R,REITBOECK H J,ARNDT M,et al.Fea- put regression network[J].Pattem Recognition,2010,43 ture linking via synchronization among distributed assem- (4):1700-1716. blies:simulation of results from cat cortex J].Neural [44]NILLIUS P,EKLUNDH J O.Automatic estimation of the pro- Computation,1990,2(3):293-307. jected light source direction[C]//Proceedings of the IEEE [52 ]JOHNSON J L,PADGETT M L.PCNN models and appli- Computer Society Conference on Computer Vision and Pattem cations[J].IEEE Transactions on Neural Networks, Recognition.Kauai,USA,2001:I1076-I1083. 1999,10(3):480498. [45 CHANTLER M,PETROU M,PENIRSCHE A,et al. [53]LINDBLAD T,KINSER J M.Image processing using Classifying surface texture while simultaneously estimating pulse-coupled neural networks [M].2nd ed.[S.1.] illumination direction[J].International Joumal of Com- The Netherlands:Springer,2005:35-67. puter Vision,2005,62(1/2):83-96. [54]马义德，李廉，绽琨，等.脉冲耦合神经网络与数字图像 [46]BASRI R,JACOBS D W.Lambertian reflectance and line- 处理[M].北京：科学出版社，2008：30-271. ar subspaces[J].IEEE Transactions on Patter Analysis 作者简介： and Machine Intelligence,2003,25(2):218-233. 郑毅，男，1975年生，讲师，博士后， [47]吴恩华.图形处理器用于通用计算的技术、现状及其挑 主要研究方向为增强现实、图像测量、三 战[J].软件学报，2004,15(10)：1493-1504. 维重建和图像融合.主持或参与国家自 WU Enhua.State of the art and future challenge on general 然科学基金、总装备部技术改造项目、省 purpose computation by graphics processing unit[J].Jour- 住建厅和省教育厅项目多项，发表学术 nal of Software,2004,15(10):1493-1504. 论文10余篇，其中被I检索9篇. [48]PHARR M.GPU精粹2—高性能图形芯片和通用计 算编程技巧[M].龚敏敏，译.北京：清华大学出版社， 郑苹，女，1973年生，博士研究生， 2007:327422 主要研究方向为模式识别与计算机视 [49]NGUYEN H.GPU精粹3[M].杨柏林，陈根浪，王聪， 觉.参与国家自然科学基金和总装备部 译.北京：清华大学出版社，2010：582692. 预研项目多项，发表学术论文10篇，其 [50]卢风顺，宋君强，银福康，等.CPU/GPU协同并行计算研 中被EI检索8篇、SCI检索1篇. 究综述[J刀.计算机科学，2011,38(3)：59,46