《虚拟现实原理与应用》课程教学大纲 一、课程基本信息 课程代码:18230663 课程名称:虚拟现实原理与应用 英文名称:Virtual Reality Principles and Applications 课程类别:专业基础课 学时:48 学分:3 适用对象:数字媒体(艺术)专业 考核方式:考查 先修课程:数字信号处理基础\流媒体技术1交互设计原理与技术 二、课程简介 虚拟现实技术是一种综合多学科的计算机软硬件和网络应用技术,涉及众多研究和应用 领域。增强现实(混合现实)技术是基于三维建模环境虚拟仿真技术发展起来的新技术,是 由计算机系统提供给用户对现实世界感知、虚实融合交互的技术,是多维度多层次信息的空 间整合。中文狭义上的虚拟现实技术指具有沉浸感、交互性和想象力的三维仿真技术。中文 广义上虚拟现实技术是虚拟仿真技术、增强现实技术和混合现实技术 者的统称。本课程 要介绍虚拟现实和增强现实的相关技术原理和常见应用,通过三维虚拟仿真应用案例和实例 操作帮助学生构建完整的虚拟现实知识体系。 学生通过对本课程的原理学习和实验,应了解虚拟现实的研究对象、应用领域和发展动 态:了解其计算体系结构和核心技术、虚拟现实系统的输入输出设备、三维建模和仿真技术、 增强现实、移动增强现实和混合现实系统的核心技术、开发工具和主要应用,掌握一定的开 发技术。 三、课程性质与教学目的 课程性质:数字媒体专业课 教学目的:通过对虚拟现实和增强现实的相关技术原理和常见应用的介绍,以及三维虚拟 仿真应用案例和实例操作帮助学生构建完整的虚拟现实知识体系。 四、教学内容及要求 第一章虚拟现实述 (一)目的与要求 ·了解虚拟现实的概念、特征和发展史 ·了解虚拟现实系统的组成和分类 了解虚拟现实系统的研究对象和应用领域 【思政1】:虚拟现实头盗技术产生于20世纪60年代,7080年代美国军方推动了R技术,80年代出现 R一河,当时血然还没有消费壶拟现实产品出现,但全球很多学术机构和军方研究实验室都在研发这一尖 端技术,90年代吸技术渐入民间,在90年代末21世纪初形成吸社交热潮,21世纪初吸技术选代越来 炜快,离大众越来越近,2013年出现了0cm1us头盏,骨动了全球吸热浦,2016年随着大量资金浦入形 成全面市场热化,而后渐渐冷却回落,现在回归理性发展。虚拟现实技术的应用范围很广,沙及医半、架
《虚拟现实原理与应用》课程教学大纲 一、课程基本信息 课程代码:18230663 课程名称:虚拟现实原理与应用 英文名称:Virtual Reality Principles and Applications 课程类别:专业基础课 学 时:48 学 分:3 适用对象: 数字媒体(艺术)专业 考核方式:考查 先修课程:数字信号处理基础\流媒体技术\交互设计原理与技术 二、课程简介 虚拟现实技术是一种综合多学科的计算机软硬件和网络应用技术,涉及众多研究和应用 领域。增强现实(混合现实)技术是基于三维建模环境虚拟仿真技术发展起来的新技术,是 由计算机系统提供给用户对现实世界感知、虚实融合交互的技术,是多维度多层次信息的空 间整合。中文狭义上的虚拟现实技术指具有沉浸感、交互性和想象力的三维仿真技术。中文 广义上虚拟现实技术是虚拟仿真技术、增强现实技术和混合现实技术三者的统称。本课程主 要介绍虚拟现实和增强现实的相关技术原理和常见应用,通过三维虚拟仿真应用案例和实例 操作帮助学生构建完整的虚拟现实知识体系。 学生通过对本课程的原理学习和实验,应了解虚拟现实的研究对象、应用领域和发展动 态;了解其计算体系结构和核心技术、虚拟现实系统的输入输出设备、三维建模和仿真技术、 增强现实、移动增强现实和混合现实系统的核心技术、开发工具和主要应用,掌握一定的开 发技术。 三、课程性质与教学目的 课程性质: 数字媒体专业课 教学目的: 通过对虚拟现实和增强现实的相关技术原理和常见应用的介绍,以及三维虚拟 仿真应用案例和实例操作帮助学生构建完整的虚拟现实知识体系。 四、教学内容及要求 第一章 虚拟现实概述 (一) 目的与要求 ⚫ 了解虚拟现实的概念、特征和发展史 ⚫ 了解虚拟现实系统的组成和分类 ⚫ 了解虚拟现实系统的研究对象和应用领域 【思政 1】:虚拟现实头盔技术产生于 20 世纪 60 年代,70~80 年代美国军方推动了 VR 技术,80 年代出现 VR 一词,当时虽然还没有消费虚拟现实产品出现,但全球很多学术机构和军方研究实验室都在研发这一尖 端技术。90 年代 VR 技术渐入民间,在 90 年代末~21 世纪初形成 VR 社交热潮。21 世纪初 VR 技术迭代越来 越快,离大众越来越近,2013 年出现了 Oculus 头盔,带动了全球 VR 热潮。2016 年随着大量资金涌入形 成全面市场热化,而后渐渐冷却回落,现在回归理性发展。虚拟现实技术的应用范围很广,涉及医学、娱
乐与艺术、军事和航天模拟演练、管理工程、建筑、房地产、工业仿其、文物古迹数字保护、影视游戏、 地理信息、散育培训等等。 (二)教学内容 1)虚拟现实的定义、特征和特性、系统的组成 2)虚拟现实的主要应用作品欣赏(视频) 3)虚拟现实系统的4种不同类型 4)虚拟现实技术的主要研究 5)虚拟现实的发展史 6)教学执行计划书、实验教学大纲、参考资料介绍 (三)教学方法与手段 课堂讲授+多媒体教学+B别ackboard网络平台回顺+P队教学:以下各章同 第二章虚拟现实的计算体系结构 (一)目的与要求 ●理解虚拟现实引擘的构建是虚拟现实开发的框架和基础 了解虎拟实系的今性结、基于工作站、移动平台和一体机的体系结板 了解分布式虚拟环境的网络拓扑结构及其在远程医疗手术、大规模、跨域和多维多场 景信息可视化交互分析和仿真模拟中的集成应用 理解虚拟现实引擎中图形和触觉绘制流水线的基本工作原理(待定〉 【思政2】在虚拟现实系统中虚拟现实引擎起着至关重要的作用,在整个系统中处于核心地位。它负责整 个壶拟世界的实时道染、用户和虚拟世界的实时交互计算等功能。虚拟现实引莱生成的虚拟世界具有高度 复杂性 尤其在医学仿真等大规模复杂场景中,谊染虚拟 算的 () 数学内容 11 绘诗水线 1 虚拟现实系统的概念性结枸、基于工作站、移动平台和一体机的体系结构 分布式虚拟: 境的 络拓扑结 第三章虚拟现实系统的输入输出设备 目的与要求 了解虚拟现实系统中跟踪器、三维鼠标、游戏手柄、手势运动感应和无线体感设备( 数据手套、数据衣)等用于实时辅捉用户输入的设各:堂握跟踪器的概念、主要的跟 陰技术及手坞接口的工作原理 了解目前主要应用的输出设备是视觉 的设备有待开发 、接触反馈设备和力反馈 设备的概念和应月 【思政3】随誉科学的不断进步,更新更便利的输入设备会不断出现,如直接用意老控制的脑波识别,这 成许品输入的悠据形态 【思政4】虚拟现实技术在今后的发展中依然会循“低成本、高性能”的原则,主要的发展方向为动态 环境建立技术、实时三图像生成与 新型交 、 应用大梦 式网络 虚拟现实。随着壶拟现实在越来越多的阅 域的应用与发,其受将给人类带来巨大的经济和社会效益 【思政5】混合眼踪器未来发展凰点是视觉-惯性-GS等复杂限踪播。除了传统工业、医疗、军事、文化 遗迹保护、导航等领城,混合踪器还能够为核工业、机器人、互动操乐及普适计算等室内外虚拟现实应 用注入新活力。 (二)教学内容 1)虚拟现实的定位追踪、跟踪器的定义和主要性能参
乐与艺术、军事和航天模拟演练、管理工程、建筑、房地产、工业仿真、文物古迹数字保护、影视游戏、 地理信息、教育培训等等。 (二)教学内容 1) 虚拟现实的定义、特征和特性、系统的组成 2) 虚拟现实的主要应用作品欣赏(视频) 3) 虚拟现实系统的 4 种不同类型 4) 虚拟现实技术的主要研究对象 5) 虚拟现实的发展史 6) 教学执行计划书、实验教学大纲、参考资料介绍 (三)教学方法与手段 课堂讲授 + 多媒体教学 + Blackboard 网络平台回顾 + PBL 教学;以下各章同 第二章 虚拟现实的计算体系结构 (一)目的与要求 ⚫ 理解虚拟现实引擎的构建是虚拟现实开发的框架和基础 ⚫ 了解虚拟现实系统的概念性结构、基于工作站、移动平台和一体机的体系结构 ⚫ 了解分布式虚拟环境的网络拓扑结构及其在远程医疗手术、大规模、跨域和多维多场 景信息可视化交互分析和仿真模拟中的集成应用 ⚫ 理解虚拟现实引擎中图形和触觉绘制流水线的基本工作原理 (待定) 【思政 2】在虚拟现实系统中虚拟现实引擎起着至关重要的作用,在整个系统中处于核心地位。它负责整 个虚拟世界的实时渲染、用户和虚拟世界的实时交互计算等功能。虚拟现实引擎生成的虚拟世界具有高度 复杂性,尤其在医学仿真等大规模复杂场景中,渲染虚拟世界所需计算的数据量巨大。 (二) 教学内容 1) 绘制流水线 2) 虚拟现实系统的概念性结构、基于工作站、移动平台和一体机的体系结构 3) 分布式虚拟环境的网络拓扑结构 第三章 虚拟现实系统的输入输出设备 (一)目的与要求 ⚫ 了解虚拟现实系统中跟踪器、三维鼠标、游戏手柄、手势运动感应和无线体感设备(如 数据手套、数据衣)等用于实时捕捉用户输入的设备;掌握跟踪器的概念、主要的跟 踪技术及手势接口的工作原理 ⚫ 了解目前主要应用的输出设备是视觉、听觉和触觉(力觉)的设备,基于味觉、嗅觉 等的设备有待开发研究;掌握图形显示设备、声音显示设备、接触反馈设备和力反馈 设备的概念和应用 【思政 3】随着科学的不断进步,更新更便利的输入设备会不断出现,如直接用意念控制的脑波识别,这 或许是输入的终极形态 【思政 4】虚拟现实技术在今后的发展中依然会遵循“低成本、高性能”的原则,主要的发展方向为动态 环境建立技术、实时三维图像生成与显示、研制新型交互设备、智能语音虚拟建模、应用大型分布式网络 虚拟现实。随着虚拟现实在越来越多的领域的应用与发展,其必将给人类带来巨大的经济和社会效益。 【思政 5】混合跟踪器未来发展重点是视觉-惯性-GPS 等复杂跟踪器。除了传统工业、医疗、军事、文化 遗迹保护、导航等领域,混合跟踪器还能够为核工业、机器人、互动娱乐及普适计算等室内外虚拟现实应 用注入新活力。 (二)教学内容 1)虚拟现实的定位追踪、跟踪器的定义和主要性能参数
2)些常用的定位的验书术。明陰器和始入设名 3)虚拟现实系统的输出设备,输出设备为用户提供仿真过程对输入的反馈。 4)通过输出接口给用户产生反馈的感觉通 视觉 (通过图形显示设备)、听觉(通 过三维声音显示设备)和触觉(通过触觉显示设备)】 第四章虚拟现实系统的核心技术 (一)目的与要求 ●掌挥头盔显示器的概念、常用沉浸式立体投影是示系统的原理和应用 ●了解虚拟现实系统相关技术的原理和实现方法,如三维建模技术、立体显示技术、真 实感实时绘制技术、三维虚拟声音技术、人机交互技术、碰撞检测技术等 【思政6】行为建模是建立棋型的行为能力 并且使棋 定的 的本质就是者 世界的仿真或折射,虚拟现实的模型则是客世界中物体或对家的代表。而客世界中的物体或对象除】 具有表观特征(如外形、质感)意外,还具有一定的行为能力和符合客观规律。 (二)教学内容 1)头盔是示的念、常用沉浸式立体投影显示系统的原理和应用 建模技术、立体显示技术、真实感实 第五章三维数字建模与三维全景技术/增强现实与三维全景技术 (一)目的与要求 掌握一些常见的三维建模和开发工具的使用 ·掌握三雏数字建模的理论和三维全景的特点、分类和应用领域 ·了解全景照片的拍摄方法和后期软件实现 了解三维数 建模和全 术 是方向是交互性、实时性、高速化和智能化 (二) 教学内容 1)三雄数字建模概 2)三维全景概述 3)全景照片的拍摄硬件 拍摄方法和软件实现 4)智能三维全景的应用 5)图形编程回顾 【思政】基于图像的三维重建及可视化技术在逐感、手术规划,虚拟现实、计算机动画、动作捕提、显徽 兼形、三锥测量、计算流体力学,有限元分析,军事模拟等方面都有重要的应用,具有广调的应用前 对基于 的研究, 具有置要的学术意义和应用价值 第六章增强现实系统的原理与应用 (一)目的与要求 掌提增强现实技术的基本概念、核心技术及移动增强现实技术的概念 ● 了解增强现实技术的主要应用领域、发展趋势、发展的障碍因素 ·掌捏基于图像的三维重建基本编程方法 了解增递现实与信息合设计的方法,移动增强现实技术的概念、发展现状、系统花 成和应用 (二)教学内容 1)增强理实的基木知讯 2)增强现实系统的核心技术品示技术、三维注爵技术、标定技术、人机交技术) 3)基于图像的三维重建 4)移动增强现实技术概述和发展现状
2)一些常用的定位追踪技术、跟踪器和输入设备 3)虚拟现实系统的输出设备,输出设备为用户提供仿真过程对输入的反馈。 4)通过输出接口给用户产生反馈的感觉通道,包括视觉(通过图形显示设备)、听觉(通 过三维声音显示设备)和触觉(通过触觉显示设备) 第四章 虚拟现实系统的核心技术 (一)目的与要求 ⚫ 掌握头盔显示器的概念、常用沉浸式立体投影显示系统的原理和应用 ⚫ 了解虚拟现实系统相关技术的原理和实现方法,如三维建模技术、立体显示技术、真 实感实时绘制技术、三维虚拟声音技术、人机交互技术、碰撞检测技术等 【思政 6】行为建模是建立模型的行为能力,并且使模型服从一定的客观规律。虚拟现实的本质就是客观 世界的仿真或折射,虚拟现实的模型则是客观世界中物体或对象的代表。而客观世界中的物体或对象除了 具有表观特征(如外形、质感)意外,还具有一定的行为能力和符合客观规律。 (二) 教学内容 1)头盔显示器的概念、常用沉浸式立体投影显示系统的原理和应用 2)虚拟现实系统相关技术的原理和实现方法,如三维建模技术、立体显示技术、真实感实 时绘制技术、三维虚拟声音技术、人机交互技术、碰撞检测技术等 第五章 三维数字建模与三维全景技术/增强现实与三维全景技术 (一)目的与要求 ⚫ 掌握一些常见的三维建模和开发工具的使用 ⚫ 掌握三维数字建模的理论和三维全景的特点、分类和应用领域 ⚫ 了解全景照片的拍摄方法和后期软件实现 ⚫ 了解三维数字建模和全景技术未来的发展方向是交互性、实时性、高速化和智能化 (二) 教学内容 1) 三维数字建模概述 2) 三维全景概述 3) 全景照片的拍摄硬件、拍摄方法和软件实现 4) 智能三维全景的应用 5) 图形编程回顾 【思政】基于图像的三维重建及可视化技术在遥感、手术规划,虚拟现实、计算机动画、动作捕捉、显微 摄影、三维测量、计算流体力学, 有限元分析, 军事模拟等方面都有重要的应用, 具有广阔的应用前 景, 对基于图像的三维重建的研究,具有重要的学术意义和应用价值 第六章 增强现实系统的原理与应用 (一)目的与要求 ⚫ 掌握增强现实技术的基本概念、核心技术及移动增强现实技术的概念 ⚫ 了解增强现实技术的主要应用领域、发展趋势、发展的障碍因素 ⚫ 掌握基于图像的三维重建基本编程方法 ⚫ 了解增强现实与信息融合设计的方法、移动增强现实技术的概念、发展现状、系统构 成和应用 (二)教学内容 1)增强现实的基本知识 2)增强现实系统的核心技术(显示技术、三维注册技术、标定技术、人机交互技术) 3)基于图像的三维重建 4)移动增强现实技术概述和发展现状
5)移动增强现实系统的构成 【思政】一般情况下将一个三维虚拟物体配准放进一幅实景图像里时,需先根据真实相机的内外参数标定 虚拟相机后才能绘制。 第七章虚拟现实仿真应用实例和实训 ·实城:利用图形处理库编程实现照相机控制和增强显示效果(机动待定) ·实践:地形建模和机器人运动控制(机动待定) (一)目的与要求 √掌提一些增强现实开发工具的使用MultiGen Creator,3DMax等 √利用图形编程和模型导出导入 据一此3D界面石方法 【思政】R环境系统主要包括建棋、控制和蝶体嫩据源3大部分。 建模是其核心环节, 主要指利用物理 的或数学的方法,对需要仿真的实际系统进行描述以获得近似的数学模型。这是进行数字仿真或半实物 仿真必不可少的步骤。此处建棋的内通包括绘制。 第八章课程设计(期末考核) 五、各教学环节学时分配 教学环节 讲 茸他数 小 教学时数 课 题课 论课 实验 学环节 课程内容 第一章 4 第二章 3 3 6 第三章 3 3 第四章 第五章 4 6 第六章 2 4 6 第七章 2 6 期中测验 3 3 期末课程设计 合计 21 22 48 六、推荐教材和教学参考资源 (1)推荐教材与参考书: 出版年 ISBN 作者 书名 出版社 978-703-056398-9 娄岩 虚拟现实与增尝现实应用基 料学出版社 2018 础 9787-302-46717-5 张泊平 虚拟现实理论与实践 清华大学出版社 2017 978-0-321-88357.5 Augmented Reality Principles 2016
5)移动增强现实系统的构成 【思政】一般情况下将一个三维虚拟物体配准放进一幅实景图像里时,需先根据真实相机的内外参数标定 虚拟相机后才能绘制。 第七章 虚拟现实仿真应用实例和实训 ⚫ 实践: 利用图形处理库编程实现照相机控制和增强显示效果(机动待定) ⚫ 实践: 地形建模和机器人运动控制 (机动待定) (一) 目的与要求 ✓ 掌握一些增强现实开发工具的使用 MultiGen Creator,3D Max 等 ✓ 利用图形编程和模型导出导入 ✓ 掌握一些 3D 界面交互方法 【思政】VR 环境系统主要包括建模、控制和媒体数据源 3 大部分。 建模是其核心环节, 主要指利用物理 的或数学的方法, 对需要仿真的实际系统进行描述以获得近似的数学模型。 这是进行数字仿真或半实物 仿真必不可少的步骤。此处建模的内涵包括绘制。 第八章 课程设计 (期末考核) 五、各教学环节学时分配 教学环节 教学时数 课程内容 讲 课 习 题 课 讨 论 课 实验 其他教 学环节 小 计 第一章 4 2 6 第二章 3 3 6 第三章 3 3 9 第四章 5 4 6 第五章 2 4 6 第六章 2 4 6 第七章 2 4 6 期中测验 3 3 期末课程设计 合计 21 3 22 48 六、推荐教材和教学参考资源 (1)推荐教材与参考书: ISBN 作者 书名 出版社 出版年 份 978-7-03-056398-9 娄岩 虚拟现实与增强现实应用基 础 科学出版社 2018 978-7-302-46717-5 张泊平 虚拟现实理论与实践 清华大学出版社 2017 978-0-321-88357-5 Dieter Augmented Reality Principles Wesley 2016
and Practice 978-1-78398-855-6 lonatham Linowes Unity Virtual Reality Projects Packt [www.packt.com]2015- 9787121246142 赫思、巴克 计算机图形学 电子工业出版社 2014 9787-121-31826- David A.Forsyth, 计算机视觉 电子工业出饭社 2017 Jean Ponce 其他:Lcam.umiy 交互式计算机图形学,计算机图形学实用教程, ion Design for 3DUser nterfac 七、其他说明 大纲修订人: 刘茜蕾 修订日期:2020/12/31 大纲审定人: 审定日期:
Schmalstieg, Tobias Hollerer and Practice 978-1-78398-855-6 Jonatham Linowes Unity Virtual Reality Projects Packt [www.packt.com] 2015- 9787121246142 赫恩、巴克 计算机图形学 电子工业出版社 2014 978-7-121-31826-9 David A. Forsyth, Jean Ponce 计算机视觉 电子工业出版社 2017 其他:Learn.unity.com,交互式计算机图形学,计算机图形学实用教程,Interaction Design for 3D User Interface 七、其他说明 大纲修订人: 刘茜蕾 修订日期:2020/12/31 大纲审定人: 审定日期: