人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 《人机交互技术》课程 实验指导书 山东大学 计算机科学技术学院 软件学院 第1页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 1 页 共 18 页 《人机交互技术》课程 实验指导书 山东大学 计算机科学技术学院 软件学院
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 《人机交互技术》课程实验教学大纲 课程名称：人机交互技术 英文名称：Human--computer Interaction Technology 课程编号：0303202210 课程负责人：王璐 大纲主撰人：王璐 课程总学时：32 实验学时：16 课程总学分：3 适用专业及年级：计算机科学与技术/软件工程系/数字媒体，三年级本科生 一.实验教学的目的 通过《人机交互技术》实验课程的实践，使学生了解《人机交互技术》与计算机图形、 程序设计、认知心理学以及计算机硬件的发展等领域密切相关，并加深学生对人机交互知识 的理解，增强学生的实际运用能力和开发高可用性的交互界面的能力。 二.实验教学的任务 通过案例学习，让学生了解不同的人机交互模型设计类型，以及成功与失败案例所带 来的启示。通过原型设计使学生了解原型的作用，并了解用户需求对设计一个良好人机交互 界面的重要性。通过原型和界面评估，使学生掌握针对交互系统的评估方法。 三.具体实验题目名称和学时分配、适用专业及实验性质（设计性、综合性、 验证性) 学 实验 必开/ 序号 实验项目名称 适用专业 备注 时 性质 选开 用微软的语音合成软件与识别软件做 计算机科学 设计性 选开 MS 第2页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 2 页 共 18 页 《人机交互技术》课程实验教学大纲 课 程 名 称：人机交互技术 英 文 名 称：Human-computer Interaction Technology 课 程 编 号：0303202210 课 程 负 责 人：王璐 大 纲 主 撰 人：王璐 课程总学时：32 实验学时： 16 课程总学分：3 适用专业及年级: 计算机科学与技术/软件工程系/数字媒体，三年级本科生 一．实验教学的目的 通过《人机交互技术》实验课程的实践，使学生了解《人机交互技术》与计算机图形、 程序设计、认知心理学以及计算机硬件的发展等领域密切相关，并加深学生对人机交互知识 的理解，增强学生的实际运用能力和开发高可用性的交互界面的能力。 二．实验教学的任务 通过案例学习，让学生了解不同的人机交互模型设计类型，以及成功与失败案例所带 来的启示。通过原型设计使学生了解原型的作用，并了解用户需求对设计一个良好人机交互 界面的重要性。通过原型和界面评估，使学生掌握针对交互系统的评估方法。 三．具体实验题目名称和学时分配、适用专业及实验性质（设计性、综合性、 验证性） 序号 实验项目名称 学 时 适用专业 实验 性质 必开/ 选开 备注 1 用微软的语音合成软件与识别软件做 4 计算机科学 设计性 选开 MS
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 ,个具有语音提示功能的界面，要求设计 技术/软件工 Speech 交互模型，根据实际应用情况来确定是否 程 SDK, 要用语音。 在公共 PC机 房，要 求配有 语音 卡、耳 麦、扬 声器等 多媒体 设备 提交所 计算机科学 人机交互系统的评估 评估的 2 4 技术/软件工 综合性 选开 系统评 程/数字媒体 估报告 (1)基于三维运动捕捉设备的人体骨架信 息的获得与处理 (2)基于三维运动捕捉设备采集三维运动 数据 数字媒 3 4 数字媒体 演示性 必开 体专业 实验室 基于Web3D的虚拟漫游交互学习系统：利 在普通 计算机科学 用Web3D构建一个如图所示的虚拟场景， PC机房 4 6 技术/软件工 综合性 必开 结合某个主题创建一个知识学习体系，丰 进行， 程/数字媒体 富场景中多媒体展示形式，支持多用户漫 要求环 第3页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 3 页 共 18 页 一个具有语音提示功能的界面，要求设计 交互模型，根据实际应用情况来确定是否 要用语音。 技术/软件工 程 Speech SDK， 在公共 PC 机 房，要 求配有 语音 卡、耳 麦、扬 声器等 多媒体 设备 2 人机交互系统的评估 4 计算机科学 技术/软件工 程/数字媒体 综合性 选开 提交所 评估的 系统评 估报告 3 （1）基于三维运动捕捉设备的人体骨架信 息的获得与处理 （2）基于三维运动捕捉设备采集三维运动 数据 4 数字媒体 演示性 必开 数字媒 体专业 实验室 4 基于 Web3D 的虚拟漫游交互学习系统：利 用 Web3D 构建一个如图所示的虚拟场景， 结合某个主题创建一个知识学习体系，丰 富场景中多媒体展示形式，支持多用户漫 6 计算机科学 技术/软件工 程/数字媒体 综合性 必开 在普通 PC 机房 进行， 要求环
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 游和虚拟环境中的人人交互、人物交互等。 境，建 模工具 Maya, 游戏引 擎 Web3D ,游戏 开发环 境 Aptana Studio 设计人机交互课程PC端及移动设备上的 自定制网页界面。要求：遵循HC的web 数字媒体/软 在公共 5 设计性 选开 界面设计原则，灵活使用各种界面元素， 件工程 PC机房 统一界面风格。 基于android的二维/三维交互游戏：利用 在普通 android2.l以上系统，搭建二维或三维游戏 PC机房 平台，充分利用触摸屏、感应器、声音等 进行， 交互方式，实现综合养成、解谜、休闲、 要求环 计算机科学 角色扮演和移动应用的游戏。例如：3D推 境， 6 技术/软件工 综合性 必开 箱子，3D桌球，愤怒的小鸟等。 eclips 程/数字媒体 由由 田田 田田 e, androi d2.1以 上平台 基于android2.1以上系统，搭建“清明上 在普通 计算机科学 河图交互漫游系统”，通过触摸屏、感应器、 PC机房 6 技术/软件工 综合性 选开 话筒实现人机互动。 进行， 程/数字媒体 载入清明上河图图片，通过指点拖动浏览， 要求环 第4页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 4 页 共 18 页 游和虚拟环境中的人人交互、人物交互等。 境，建 模工具 Maya， 游戏引 擎 Web3D ，游戏 开发环 境 Aptana Studio 5 设计人机交互课程 PC 端及移动设备上的 自定制网页界面。要求：遵循 HCI 的 web 界面设计原则，灵活使用各种界面元素， 统一界面风格。 2 数字媒体/软 件工程 设计性 选开 在公共 PC 机房 6 基于 android 的二维/三维交互游戏：利用 android2.1 以上系统，搭建二维或三维游戏 平台，充分利用触摸屏、感应器、声音等 交互方式，实现综合养成、解谜、休闲、 角色扮演和移动应用的游戏。例如：3D 推 箱子， 3D 桌 球 ， 愤 怒 的 小 鸟 等 。 8 计算机科学 技术/软件工 程/数字媒体 综合性 必开 在普通 PC 机房 进行， 要求环 境， eclips e， androi d2.1 以 上平台 7 基于 android2.1 以上系统，搭建“清明上 河图交互漫游系统”，通过触摸屏、感应器、 话筒实现人机互动。 载入清明上河图图片，通过指点拖动浏览， 6 计算机科学 技术/软件工 程/数字媒体 综合性 选开 在普通 PC 机房 进行， 要求环
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 并且针对不同的对象场景预设风声、流水 境， 声、鸟声、喧闹人群声、讨价还价声、弹 eclips 唱戏曲声等。当用户漫游至相应场景时， e, 加载声音并合成。 androi 例如，用户远观整个街市场景时，合成喧 d2.1以 闹人群声和自然声：当用户zoom in到图 上平台 片某细节处，可能听到清晰的讨价还价声。 为增强交互功能，使用重力感应器，感应 手机位移和用户动作，以控制流水流速和 方向等，反馈不同的声觉效果给用户。 四.单项实验的内容、要求 1.实验环境与设备及案例的学习 通过对实验设备与环境及案例的学习，了解各种人机交互界面类型，加深学生对人机交 互系统的理解。 2.按要求设计、制作交互系统原型（工具不限原型） 掌握原型设计方法，并运用原型开发工具设计原型。在原型制作之前，力争全面了 解实验需求。了解交互系统与交互界面设计的开发环境，掌握相关开发工具的使用方法。 3.评价并改进原型 了解评价原型的方法，通过评估来发现原型中存在的可用性问题，并改进原型。按 照改进的原型设计交互界面系统。 4.评估 掌握人机交互系统与界面的评估方法。 五.实验教材或讲义名称 第5页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 5 页 共 18 页 并且针对不同的对象场景预设风声、流水 声、鸟声、喧闹人群声、讨价还价声、弹 唱戏曲声等。当用户漫游至相应场景时， 加载声音并合成。 例如，用户远观整个街市场景时，合成喧 闹人群声和自然声；当用户 zoom in 到图 片某细节处，可能听到清晰的讨价还价声。 为增强交互功能，使用重力感应器，感应 手机位移和用户动作，以控制流水流速和 方向等，反馈不同的声觉效果给用户。 境， eclips e， androi d2.1 以 上平台 四．单项实验的内容、要求 1.实验环境与设备及案例的学习 通过对实验设备与环境及案例的学习，了解各种人机交互界面类型，加深学生对人机交 互系统的理解。 2.按要求设计、制作交互系统原型（工具不限原型） 掌握原型设计方法，并运用原型开发工具设计原型。在原型制作之前，力争全面了 解实验需求。了解交互系统与交互界面设计的开发环境，掌握相关开发工具的使用方法。 3.评价并改进原型 了解评价原型的方法，通过评估来发现原型中存在的可用性问题，并改进原型。按 照改进的原型设计交互界面系统。 4．评估 掌握人机交互系统与界面的评估方法。 五．实验教材或讲义名称
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 见山东大学《人机交互技术实验指导书》 六.实验考核标准 1.优秀 能按实验指导书独立完成实验，正确使用仪器设备，能灵活、熟练地运用相关知识，实 验数据及计算结果准确，实验报告（含图表）清晰无误。 良好 能按实验指导书基本独立完成实验，正确使用仪器设备，能比较熟练地运用相关知识， 实验数据及计算结果基本准确，实验报告（含图表）质量较好。 中等 能在教师指导下顺利完成实验，会使用仪器设备，尚能运用相关知识，实验数据及计算 结果有明显错误，实验报告（含图表）质量一般。 及格 能在教师指导下完成实验，会使用仪器设备，运用相关知识能力较差，实验数据及计算 结果有较大错误，基本达到实验最低要求。 不及格 不能完成实验，或抄袭他人实验报告，或实验数据及计算结果有多处重大错误。 七.与其他课程的联系与分工 本实验课前续先修课为： 计算机程序设计，如Visual c+programming,或Java 计算机图形学 Web技术 多媒体技术 八，要求掌握的开发工具 Visual C++,Java,OpenGL,Web3D,Android语言等辅助开发工具。 九.为达到本课程的目的和要求所采取的措施 1.要求实验室配备本实验所需的设备和器材。每人配备计算机一台，要求具有CPU是 P4以上，内存1GB以上，硬盘20GB以上，并配备网卡、光驱，实验室中具有集线器、网线 等，并配备相应的软件光盘。 第6页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 6 页 共 18 页 见山东大学《人机交互技术实验指导书》 六．实验考核标准 1．优秀 能按实验指导书独立完成实验，正确使用仪器设备，能灵活、熟练地运用相关知识，实 验数据及计算结果准确，实验报告（含图表）清晰无误。 良好 能按实验指导书基本独立完成实验，正确使用仪器设备，能比较熟练地运用相关知识， 实验数据及计算结果基本准确，实验报告（含图表）质量较好。 中等 能在教师指导下顺利完成实验，会使用仪器设备，尚能运用相关知识，实验数据及计算 结果有明显错误，实验报告（含图表）质量一般。 及格 能在教师指导下完成实验，会使用仪器设备，运用相关知识能力较差，实验数据及计算 结果有较大错误，基本达到实验最低要求。 不及格 不能完成实验，或抄袭他人实验报告，或实验数据及计算结果有多处重大错误。 七．与其他课程的联系与分工 本实验课前续先修课为： 计算机程序设计，如 Visual c++ programming,或 Java; 计算机图形学 Web 技术 多媒体技术 八．要求掌握的开发工具 Visual C++, Java, OpenGL,Web3D，Android 语言等辅助开发工具。 九．为达到本课程的目的和要求所采取的措施 1．要求实验室配备本实验所需的设备和器材。每人配备计算机一台，要求具有 CPU 是 P4 以上，内存 1GB 以上，硬盘 20GB 以上，并配备网卡、光驱，实验室中具有集线器、网线 等，并配备相应的软件光盘
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 2.承担实验教学的教师和实验员提前作好实验准备。 3.实验之前，要求学生对每个实验的内容进行预习。 4.要求学生按时上机，交实验报告。 5.指导实验的教师和实验员要耐心辅导，帮助学生解决实验中出现的问题，认真批改 实验报告。 十.编制依据 本实验教学大纲的编写按照《人机交互技术》课程教学大纲对实验环节的要求编写。 参加本大纲制订编写人员： 屠长河，，王璐，刘力，蒋志方，程敏 本课程所在实验室：人机交互与虚拟现实实验室 制定时间： 2012年4月 第7页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 7 页 共 18 页 2．承担实验教学的教师和实验员提前作好实验准备。 3．实验之前，要求学生对每个实验的内容进行预习。 4．要求学生按时上机，交实验报告。 5．指导实验的教师和实验员要耐心辅导，帮助学生解决实验中出现的问题，认真批改 实验报告。 十．编制依据 本实验教学大纲的编写 按照《人机交互技术》课程教学大纲对实验环节的要求编写。 参加本大纲制订编写人员： 屠长河，，王璐，刘力,蒋志方,程敏 本课程所在实验室：人机交互与虚拟现实实验室 制定时间： 2012 年 4 月
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 实验1带有语音提示功能的界面设计与开发 (一)实验目的 1.通过开发一个简单的具有语音提示功能的人机交互系统，使同学了解多 通道交互系统的优点和交互模型的构建方法。 2.理解语音合成技术的基本原理。 3.了解和掌握Microsoft speech sdk的使用方法。 (二)实验器材 1.配有语音卡、耳麦、扬声器等多媒体设备的P℃机 2.Windows操作系统 3.MS Speech SDK (三)实验说明 l.MS Speech SDK简介： 为解决语音引擎之间不兼容的问题，微软推出了一套语音应用程序开发的软 件开发资源包Speech SDK,方便开发人员使用资源包开发语音识别和语音合成 的应用程序，隔离了应用软件与语音引擎之间的联系，使得语音引擎的更换不会 影响到应用程序的设计。 2.Speech SDK基本工作原理 第8页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 8 页 共 18 页 实验 1 带有语音提示功能的界面设计与开发 （一）实验目的 1． 通过开发一个简单的具有语音提示功能的人机交互系统，使同学了解多 通道交互系统的优点和交互模型的构建方法。 2．理解语音合成技术的基本原理。 3．了解和掌握 Microsoft speech sdk 的使用方法。 （二）实验器材 1．配有语音卡、耳麦、扬声器等多媒体设备的 PC 机 2. Windows 操作系统 3. MS Speech SDK （三）实验说明 1．MS Speech SDK 简介： 为解决语音引擎之间不兼容的问题，微软推出了一套语音应用程序开发的软 件开发资源包 Speech SDK，方便开发人员使用资源包开发语音识别和语音合成 的应用程序，隔离了应用软件与语音引擎之间的联系，使得语音引擎的更换不会 影响到应用程序的设计。 2．Speech SDK 基本工作原理
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 站音识别应用程序 站音合成应用程序 应用 程宁 接口 Speech应用程序接口运行时 深度 编差 指示 语音识别引等 语音合成引擎 Speech SDK组成结构 作为应用程序开发者，只需调用speech sdk中的函数，即可实现语音合 成与语音识别功能。 3.下载安装 从Microsoft官方下载站点搜索Speech SDK5.1并下载安装，中文语言 包可选择安装。安装好Speech SDK后，语音控制程序将被添加到“控制面 板”->“语音”选项中。利用下图对话框可以设置语音识别和文字-语音转换的 各项属性，包括语言、语调、语速和输入设备等。 语音屈性 ?☒ 语音识别文字-语音转换 丫您可控制文字语音转换的语音属性、速度和其他选项 语音选择妙 Microsoft Simplified Chinese 设置③). 使用下列文字预觉语音)： 你选择了icrosoft Simplified Chinesef作为计算机的缺省语音 停止) 语音速度C) 金 正常 快 音频输出@). 确定门 取消 应用) 第9页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 9 页 共 18 页 作为应用程序开发者，只需调用 speech sdk 中的函数，即可实现语音合 成与语音识别功能。 3．下载安装 从 Microsoft 官方下载站点搜索 Speech SDK 5.1 并下载安装，中文语言 包可选择安装。安装好 Speech SDK 后，语音控制程序将被添加到 “控制面 板”->“语音”选项中。利用下图对话框可以设置语音识别和文字-语音转换的 各项属性，包括语言、语调、语速和输入设备等
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 (四)实验内容和步骤 在visual c+或.net环境下，用微软的Speech SDK实现一个具有语音 提示功能的界面，要求设计交互模型，并根据实际应用情况来确定是否要用语音。 调用Speech sdk的方法简述如下： Project Settings 7☒ Settings For:Win32 Debug General|Debug C/C++Link Resources M 士每sapitest Y分类：Preprocessor B别新 C顶处理程序定义： WIN32,_DEBUG,_WINDOWS,_AFXDLL_MBCS u未定义符号： 厂A Undefine全部符号 N附和包含路径： C:\Program Files\Microsoft Speech SDK 5.1Vnclude 厂1忽略标准包含路径 Project Options: ude DEBUG /DWIND0WSD AFXDLL"D"”MBcS' 确定 结束 首先在visual c+主窗口的菜单栏中选择“工程”一〉“设置”。在弹出 对话框中选择“c/c+”选项卡，在分类中选择“preprocessor'”,在附加包含路 径中，输入speech sdk安装路径下的include目录，如： C:\Program Files\Microsoft Speech SDK 5.1\Include Project Settings 2☒ Settings For:Win32 Debug General Debug C/C++Link Resources|M 分国sapitest Y分类：nput R新 M对象库模块： sapi.lib 1忽略库 厂8忽略全部默认库 E强制符号说明： Q附加库路径 C:\Program Files\Microsoft Speech SDK 5.1\Libli386 Project Options: sapi.lib /nologo /subsystem:windows /incremental:yes /pdb:"Debug/sapitest.pdb"/debug /machine:1386 out:"Debug/sapitestexe"/pdbtype:sept 确定 结束 然后选择“1ink”选项卡，在分类中选择“Input”,在附加库路径中，输入 第10页共18页
人机交互技术实验指导书 山东大学计算机科学技术学院，软件学院 第 10 页 共 18 页 （四）实验内容和步骤 在 visual c++或.net 环境下，用微软的 Speech SDK 实现一个具有语音 提示功能的界面，要求设计交互模型，并根据实际应用情况来确定是否要用语音。 调用 Speech sdk 的方法简述如下： 首先在 visual c++主窗口的菜单栏中选择“工程”－> “设置” 。在弹出 对话框中选择“c/c++”选项卡，在分类中选择“preprocessor”,在附加包含路 径中，输入 speech sdk 安装路径下的 include 目录，如： C:\Program Files\Microsoft Speech SDK 5.1\Include 然后选择“link”选项卡，在分类中选择“Input”,在附加库路径中，输入