计算机学院科研团队情况介绍表 团队 名称/混合现实研究中心 团队负责人 鲍虎军 联系 人/章国锋Emailzhangguofeng@)cadzju.edu.cn电话0571-892801 主要情况介绍: 混合现实硏究团队围绕几何计算和物理模拟、图形绘制与虚拟现实、三维视觉和増强现实 三个研究方向展开研究生培养和创新研究 团队负责人鲍虎军教授为国家杰出青年基金获得者、教育部长江学者特聘教授、国家科技 创新领军人才(万人计划)、国家百千万人才工程入选者,“973”项目的首席科学家,担任浙 江大学信息学部主任、之江实验室副主任,中国计算机学会常务理事。鲍虎军教授是国内著名 的计算机图形学和虚拟现实方面的学科带头人,在微分域几何计算、复杂虚拟场景的实时逼真 图形绘制、视频场景的结构恢复和理解等理论和方法方面取得了重要进展 团队成员8人,其中教授/研究员6人,副教授2人。团队成员拥有扎实的基础理论功底和 丰富的科研实践经验,他们结合国家重大战略需求,开展原创性研究以及应用集成开发研究 已逐渐成为位于世界科技前沿,代表国内顶尖水平的混合现实实力最强团队之一。“复杂对象 的几何表示与计算理论和方法”、“面向创意产业的虚拟现实关键技术与支撑平台”分别获得 2013年国家自然科学二等奖和2011年高等学校科学研究优秀成果奖(科技进步)一等奖。在 计算机图形和视觉国际重要学术期刊和会议上( ACM TOG、 IEEE TPAMI、 IEEE TVCG、IEEE TIP、CVPR、ICCⅤ ISMAR等)发表论文100余篇。培养的优秀毕业生中1名博士获2011年 全国百篇优秀博士学位论文奖、3名博士获中国计算机学会优秀博士学位论文奖。 团队主要成员 姓名职称研究向 联系方式 教授 计算机图形学、虚拟 baohuiun@ziu.edu.cn 鲍虎军(长江学者、杰出现实、几何与视觉计主页:p:/www.cad.zju.edu.cn/home/bac 青年基金获得者) 黄劲教授(优秀青年基 几何计算 nlacad.zIu eau. cn 金获得者) 主页:htp/www.cad.ziu.edu.cn/home/hi 王锐 教授 图形绘制 rwang(@cadziu.edu.cn 主页:htp/www.cad.ziu.edu.cn/home/rwang 章国锋 教授(优秀青年基丨计算机视觉、增强现 zhangguofeng(@cadziu.edu.cn 金获得者) 实 主页:htp/www.cad.ziu.edu.cn/home/gfzhang 许威威「研究员(优秀青年数字几何处理、计算 xww(@cadziu.edu.cn 基金获得者)机视觉、虚拟现实主页:hp/www.cad.ziu.edu.cn/home/weiweixu/
计算机学院科研团队情况介绍表 团队 名称 混合现实研究中心 团队负责人 鲍虎军 联 系 人 章国锋 Email zhangguofeng@cad.zju.edu.cn 电话 0571-88208701 主要情况介绍： 混合现实研究团队围绕几何计算和物理模拟、图形绘制与虚拟现实、三维视觉和增强现实 三个研究方向展开研究生培养和创新研究。 团队负责人鲍虎军教授为国家杰出青年基金获得者、教育部长江学者特聘教授、国家科技 创新领军人才（万人计划）、国家百千万人才工程入选者，“973”项目的首席科学家，担任浙 江大学信息学部主任、之江实验室副主任，中国计算机学会常务理事。鲍虎军教授是国内著名 的计算机图形学和虚拟现实方面的学科带头人，在微分域几何计算、复杂虚拟场景的实时逼真 图形绘制、视频场景的结构恢复和理解等理论和方法方面取得了重要进展。 团队成员 8 人，其中教授/研究员 6 人，副教授 2 人。团队成员拥有扎实的基础理论功底和 丰富的科研实践经验，他们结合国家重大战略需求，开展原创性研究以及应用集成开发研究， 已逐渐成为位于世界科技前沿，代表国内顶尖水平的混合现实实力最强团队之一。“复杂对象 的几何表示与计算理论和方法”、“面向创意产业的虚拟现实关键技术与支撑平台”分别获得 2013 年国家自然科学二等奖和 2011 年高等学校科学研究优秀成果奖（科技进步）一等奖。在 计算机图形和视觉国际重要学术期刊和会议上（ACM TOG、IEEE TPAMI、IEEE TVCG、IEEE TIP、CVPR、ICCV ISMAR 等）发表论文 100 余篇。培养的优秀毕业生中 1 名博士获 2011 年 全国百篇优秀博士学位论文奖、3 名博士获中国计算机学会优秀博士学位论文奖。 团队主要成员 姓名 职称 研究方向 联系方式 鲍虎军 教授 （长江学者、杰出 青年基金获得者） 计算机图形学、虚拟 现实、几何与视觉计 算 baohujun@zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/bao/ 黄劲 教授（优秀青年基 金获得者） 几何计算 hj@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/hj/ 王锐 教授 图形绘制 rwang@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/rwang/ 章国锋 教授（优秀青年基 金获得者） 计算机视觉、增强现 实 zhangguofeng@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/gfzhang/ 许威威 研究员（优秀青年 基金获得者） 数字几何处理、计算 机视觉、虚拟现实 xww@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/weiweixu/
周晓拘研究员(国家青年 zhou@cadziu.edu.cn 千人计划入选者) 计算机视觉 主页:htp/www.cad.ziu.educn/home/xzhou 华炜 副教授 实时绘制、虚拟现实、 huawei@cadziu.edu.cn 无人车训练 主页:htp/www.cad.ziu.edu.cn/home/huawei/ 郑文庭 副教授 虚拟现实 主页:如o.tzeng(@cadzju.edu.cn :/www.cad.ziu.edu.cn/home/wtzheng/ 目前承担的主要项目: (1)大规模复杂多体接触过程的实时交互模拟,国家重点硏发计划课题,2017-2021 2)大数据学习的多通道虚拟环境自动构建,国家自然科学基金重点项目,2018-2022 3)智能视觉重建与导航,国家自然科学基金优秀青年科学基金项目,2019-2021 (4)面向复杂环境的同步定位与制图技术研究,国家自然科学基金面上项目,2017-2020 (5)自优化绘制流水线研究,国家自然科学基金面上项目,2019-2022 (6)视频中的三维人体姿态估计与行为识别,国家自然科学基金青年项目,2019-2021 (⑦)浙江大学-商汤三维视觉联合实验室,企业横向项目,2017.3-2022.3 (8)华为-浙江大学先进媒体联合实验室项目,企业横向项目,2019.9-2023.9 (9)基于几何与材质建模的真实感渲染,华为合作研究项目,2018.11-2021.11 (10)浙江大学-杭州群核图形与智能计算联合实验室,企业横向项目,2019.12-2022.·12 (11)浙江大学-5lⅦR智能虚拟仿真联合实验室项目,企业横向项目,2017.12-2021.12 (12)浙江大学-望尘科技三维实景重现技术联合实验室项目,企业横向项目,2017.1-2020.12 主要研究成果: (1)三维视觉与增强现实 随着智能移动终端、显示设备和移动互联网的飞速发展,三维视觉和増强技术越来越引起 人们的关注。该方向研究小组的主要研究内容包括运动恢复结构、同时定位与地图构建、三维 重建、増强现实、视频分割与编辑、三维物体识别、人体重建与运动捕捉等,已经在CCF推 荐A类国际期刊和会议上发表了40余篇具有重要学术价值论文,获得多项发明专利及软件 著作权。尤其在摄像机跟踪和三维重建方面取得了一系列重要硏究成果,搭建起了一系列运动 恢复结构和同时定位与地图构建软件ACTS、LS-ACTS、 RDSLAM、 RKSLAM等,能够自动 髙效、甚至实时地从视频序列(包括手持摄像机拍摄的视频和电影镜头)中恢复岀摄像机的运 动参数和场景的三维几何结构,相关成果发表在计算机视觉和増强现实领域的顶级会议 CVPR、ICCV、ECCV、 ISMAR和顶级期刊 IEEE TPAM、 IEEE TVCG、 IEEE TIP上。基于
周晓巍 研究员（国家青年 千人计划入选者） 计算机视觉 xzhou@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/xzhou/ 华炜 副教授 实时绘制、虚拟现实、 无人车训练 huawei@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/huawei/ 郑文庭 副教授 虚拟现实 wtzheng@cad.zju.edu.cn 主页：http://www.cad.zju.edu.cn/home/wtzheng/ 目前承担的主要项目： （1）大规模复杂多体接触过程的实时交互模拟，国家重点研发计划课题，2017-2021 （2）大数据学习的多通道虚拟环境自动构建，国家自然科学基金重点项目，2018-2022 （3）智能视觉重建与导航，国家自然科学基金优秀青年科学基金项目, 2019-2021 （4）面向复杂环境的同步定位与制图技术研究，国家自然科学基金面上项目，2017-2020 （5）自优化绘制流水线研究，国家自然科学基金面上项目，2019-2022 （6）视频中的三维人体姿态估计与行为识别，国家自然科学基金青年项目，2019-2021 （7）浙江大学-商汤三维视觉联合实验室，企业横向项目，2017.3-2022.3 （8）华为-浙江大学先进媒体联合实验室项目，企业横向项目，2019.9-2023.9 （9）基于几何与材质建模的真实感渲染，华为合作研究项目，2018.11-2021.11 （10）浙江大学-杭州群核图形与智能计算联合实验室，企业横向项目，2019.12-2022.12 （11）浙江大学-51VR智能虚拟仿真联合实验室项目，企业横向项目，2017.12-2021.12 （12）浙江大学-望尘科技三维实景重现技术联合实验室项目，企业横向项目，2017.1-2020.12 主要研究成果： （1）三维视觉与增强现实 随着智能移动终端、显示设备和移动互联网的飞速发展，三维视觉和增强技术越来越引起 人们的关注。该方向研究小组的主要研究内容包括运动恢复结构、同时定位与地图构建、三维 重建、增强现实、视频分割与编辑、三维物体识别、人体重建与运动捕捉等，已经在 CCF 推 荐 A 类国际期刊和会议上发表了 40 余篇具有重要学术价值论文，获得多项发明专利及软件 著作权。尤其在摄像机跟踪和三维重建方面取得了一系列重要研究成果，搭建起了一系列运动 恢复结构和同时定位与地图构建软件 ACTS、LS-ACTS、RDSLAM、RKSLAM 等，能够自动 高效、甚至实时地从视频序列（包括手持摄像机拍摄的视频和电影镜头）中恢复出摄像机的运 动参数和场景的三维几何结构，相关成果发表在计算机视觉和增强现实领域的顶级会议 CVPR、ICCV、ECCV、ISMAR 和顶级期刊 IEEE TPAMI、IEEE TVCG、IEEE TIP 上。基于
这些研究成果,研制了一系列相关软件,如ACTS、LS-ACTS、 RDSLAM、 RKSLAM等(下 载网址:htpw. zJucvg. net),并开源了基于非连续特征跟踪的大尺度运动恢复结构系统 ENFT-SEM、分段集束调整 SegmentBA和高效的增量式集束调整EIBA、 ICE-BA、三维物体位 姿检测 PVNet等算法的源代码(htts:/ github. com/zju3dv,受到了国内外同行的广泛关注和好 评。研究小组已承担多项国家级项目,并跟商汤科技共建了淅江大学-商汤三维视觉联合实验室, 在SLAM和三维重建方面展开了深入合作。相关研究成果已经成功应用到商汤科技的 SenseR增强现实平台,并在OPPO和小米的多款手机上落地,支撑了王者荣耀AR相机、 高德地图AR导航、 OPPO AR测量等重要应用,在业内产生了较大的影响力 (2)几何处理与物理模拟 几何处理与物理模拟方面硏究是计算杋图形学、影视娱乐、产品创新设计与模拟仿真等领 域的前沿基础研究方向,尤其是与近些年逐渐步入商业应用、日益得到人们关注的虚拟现实 3D打印有着密切的联系。该方向研究小组着重研究几何物理问题中非线性问题的线性化逼近 问题定义域(几何模型)舶的离散化以及复杂偏微分方程的高效求解等关键问题,主要研究方向有 鲁棒可靠的网格计算、灵活可控的物理模拟、直观易用的几何物理建模、语义分析等等,以微 分几何、黎曼流形、拉格朗日力学、李群李代数、非线性优化等基础理论为指导,开展国际先 进水平的研究。目前研究小组已承担多项国家级项目,包括国家自然科学基金优秀青年基金, 国家自然科学基金重大国际(地区)合作研究项目“复杂物理对象的几何优化与过程模拟”(与 美国加州理工大学合作),国家自然科学基金面上项目“基于形状分析的高质量重网格化技术” 863项目“3D物理引擎和髙效绘制技术与系统”,国家重点硏发计划课题“大规模复杂多体 接触过程的实时交互模拟”等,并与美国通用汽车公司、杭州先临三维科技股份有限公司等企 业建立了密切的合作关系。小组成员已发表高质量学术论文50余篇,其中20篇论文发表在 图形学领域顶级学术期刊 ACM TOG和 IEEE TVCG上。部分毕业学生前往美国UIUC, Stanford等高校进一步深造,或创建属于自己的公司。 (3)图形绘制与虚拟现实 图形绘制技术是计算机图形学的传统研究方向,是虚拟现实、计算机游戏以及三维可视化 等应用的基础支撑技术。利用计算机计算生成人能感知的视觉图像,这是人机交互中最为重要 与自然的一种交互方式,这使得图形绘制技术长久以来一直是计算机相关技术研究的热点问题。 虽然经过多年的研究,但是随着新的应用需求的发展,以及人们对更真实画面孜孜不倦地追求
这些研究成果，研制了一系列相关软件，如 ACTS、LS-ACTS、RDSLAM、RKSLAM 等（下 载网址：http://www. zjucvg.net），并开源了基于非连续特征跟踪的大尺度运动恢复结构系统 ENFT-SfM、分段集束调整 SegmentBA 和高效的增量式集束调整 EIBA、ICE-BA、三维物体位 姿检测 PVNet 等算法的源代码(https://github.com/zju3dv/)，受到了国内外同行的广泛关注和好 评。研究小组已承担多项国家级项目，并跟商汤科技共建了浙江大学-商汤三维视觉联合实验室， 在 SLAM 和三维重建方面展开了深入合作。相关研究成果已经成功应用到商汤科技的 SenseAR 增强现实平台，并在 OPPO 和小米的多款手机上落地，支撑了王者荣耀 AR 相机、 高德地图 AR 导航、OPPO AR 测量等重要应用，在业内产生了较大的影响力。 （2）几何处理与物理模拟 几何处理与物理模拟方面研究是计算机图形学、影视娱乐、产品创新设计与模拟仿真等领 域的前沿基础研究方向，尤其是与近些年逐渐步入商业应用、日益得到人们关注的虚拟现实、 3D 打印有着密切的联系。该方向研究小组着重研究几何物理问题中非线性问题的线性化逼近、 问题定义域(几何模型)的离散化以及复杂偏微分方程的高效求解等关键问题，主要研究方向有 鲁棒可靠的网格计算、灵活可控的物理模拟、直观易用的几何物理建模、语义分析等等，以微 分几何、黎曼流形、拉格朗日力学、李群李代数、非线性优化等基础理论为指导，开展国际先 进水平的研究。目前研究小组已承担多项国家级项目，包括国家自然科学基金优秀青年基金， 国家自然科学基金重大国际(地区)合作研究项目“复杂物理对象的几何优化与过程模拟”（与 美国加州理工大学合作），国家自然科学基金面上项目“基于形状分析的高质量重网格化技术”， 863 项目“3D 物理引擎和高效绘制技术与系统”，国家重点研发计划课题“大规模复杂多体 接触过程的实时交互模拟”等，并与美国通用汽车公司、杭州先临三维科技股份有限公司等企 业建立了密切的合作关系。小组成员已发表高质量学术论文 50 余篇，其中 20 篇论文发表在 图形学领域顶级学术期刊 ACM TOG 和 IEEE TVCG 上。部分毕业学生前往美国 UIUC， Stanford 等高校进一步深造，或创建属于自己的公司。 （3）图形绘制与虚拟现实 图形绘制技术是计算机图形学的传统研究方向，是虚拟现实、计算机游戏以及三维可视化 等应用的基础支撑技术。利用计算机计算生成人能感知的视觉图像，这是人机交互中最为重要 与自然的一种交互方式，这使得图形绘制技术长久以来一直是计算机相关技术研究的热点问题。 虽然经过多年的研究，但是随着新的应用需求的发展，以及人们对更真实画面孜孜不倦地追求
都进一步推动着图形绘制技术的发展与进步。该研究小组旨在提出和完善图形绘制技术的相关 理论及支撑技术,主要研究方向包括真实感绘制方法、快速/实时绘制技术、高效空间数据组织 与管理、绘制流水线动态优化等理论与方法等。具体说来,真实感绘制方法主要硏究利用计算 机生成真实世界中各种真实视觉效果的理论与方法,其侧重点在于探索绘制理论与计算机计算 能力的极限,生成尽量真实的图像,从而满足电影特效、仿真模拟等应用的需要;快速/实时绘 制技术主要研究在有限时间内绘制真实图像的方法与技术框架,其目的在于给人们提供快速的 交互视觉反馈,从而满足虚拟现实与计算机游戏等多种应用的需要;高效空间数据组织与管理 针对三维髙维场景数据在计算机中抽象表示、高效存储与有效管理开展研究,结合诸如数据挖 掘、机器学习等方面的进展,开展新的探索性的研究;绘制流水线动态优化方面,针对硬件绘 制流水线的特点,结合具体应用开展流水线优化与简化的研究。 在图形绘制技术的基础上,研究小组研发了基于多通道立体显示环境的虚拟现实应用支撑 平台。该平台通过多投影画面的无缝拼接和实时绘制技术,支持360度环形投影高清视频和实 时三维的互动显示,在核心技术方面具有自主知识产权,成功应用200余次,获2011年教育 部科技进步一等奖《面向创意产业的虚拟现实关键技术与支撑平台》。通过技术竞争,该平台 成为2010年上海世界博览会中国馆浙江馆的大型多维多媒体展示系统"宛如天城"的支撑平 台。近年来,相继为恒大地产、紫金矿业、越秀地产、中大地产等企业集团总部开发了3D展 示系统。 研究小组近年来在无人车虚拟训练方面展开了研究,已建成6自由度虚拟驾驶仿真器,形 成了无人车虚拟训练场的总体框架和实验系统,能够支持基于强化学习的驾驶策略训练 目前研究小组承担了多项国家和企业项目,并与网易、西门子等企业建立了紧密的合作研 究关系。小组成员已在国际顶级期刊与会议 ACM TOG, IEEE TVCG,CGF,ACM SIGGRAPHACM SIGGRAPH ASIA, EUROGRAPHICS等发表一系列高质量学术论文
都进一步推动着图形绘制技术的发展与进步。该研究小组旨在提出和完善图形绘制技术的相关 理论及支撑技术，主要研究方向包括真实感绘制方法、快速/实时绘制技术、高效空间数据组织 与管理、绘制流水线动态优化等理论与方法等。具体说来，真实感绘制方法主要研究利用计算 机生成真实世界中各种真实视觉效果的理论与方法，其侧重点在于探索绘制理论与计算机计算 能力的极限，生成尽量真实的图像，从而满足电影特效、仿真模拟等应用的需要；快速/实时绘 制技术主要研究在有限时间内绘制真实图像的方法与技术框架，其目的在于给人们提供快速的 交互视觉反馈，从而满足虚拟现实与计算机游戏等多种应用的需要；高效空间数据组织与管理 针对三维/高维场景数据在计算机中抽象表示、高效存储与有效管理开展研究，结合诸如数据挖 掘、机器学习等方面的进展，开展新的探索性的研究；绘制流水线动态优化方面，针对硬件绘 制流水线的特点，结合具体应用开展流水线优化与简化的研究。 在图形绘制技术的基础上，研究小组研发了基于多通道立体显示环境的虚拟现实应用支撑 平台。该平台通过多投影画面的无缝拼接和实时绘制技术，支持 360 度环形投影高清视频和实 时三维的互动显示，在核心技术方面具有自主知识产权，成功应用 200 余次，获 2011 年教育 部科技进步一等奖《面向创意产业的虚拟现实关键技术与支撑平台》。通过技术竞争，该平台 成为 2010 年上海世界博览会中国馆浙江馆的大型多维多媒体展示系统"宛如天城"的支撑平 台。近年来，相继为恒大地产、紫金矿业、越秀地产、中大地产等企业集团总部开发了 3D 展 示系统。 研究小组近年来在无人车虚拟训练方面展开了研究，已建成 6 自由度虚拟驾驶仿真器，形 成了无人车虚拟训练场的总体框架和实验系统，能够支持基于强化学习的驾驶策略训练。 目前研究小组承担了多项国家和企业项目，并与网易、西门子等企业建立了紧密的合作研 究 关 系 。 小 组 成 员 已 在 国 际 顶 级 期 刊 与 会 议 ACM TOG, IEEE TVCG, CGF, ACM SIGGRAPH,ACM SIGGRAPH ASIA, EUROGRAPHICS 等发表一系列高质量学术论文