第9卷第5期 智能系统学报 Vol.9 No.5 2014年10月 CAAI Transactions on Intelligent Systems 0ct.2014 D0:10.3969/j.issn.1673-4785.201307001 智能空间助老助残服务机器人人机协作导航 江济良,屠大维2 (1.上海大学机电工程与自动化学院,上海200072:2.上海市智能制造及机器人重点实验室,上海200072) 摘要:针对具有基本认知行为能力的行动不便老人、肢残人士、运动和语言患者这类服务对象,构建了助老助残服 务机器人人机一体化导航系统。用户与机器人之间进行交互,自由切换随机行走和自主导航2种运动模式,机器人 根据现场环境和作业条件的不同,实时触发人机条件响应生成规则而产生相应的行走行为,作业时人机界面同步呈 现虚实结合、实时交互的智能空间,实现人机一体化感知、决策与执行。以移动作业服务机器人为对象进行室内人 机一体化导航作业,验证了该人机一体化导航系统的可行性。 关键词:人机协作:导航:智能空间;人机交互;人机耦合:服务机器人 中图分类号:TP18文献标志码:A文章编号:1673-4785(2014)05-0560-09 中文引用格式:江济良,居大维.智能空间助老助残服务机器人人机协作导航[J].智能系统学报,2014,9(5):560-568。 英文引用格式:JIANG Jiliang,TU Dawei..Human-robot collaboration navigation of service robots for the elderly and disabled in an intelligent space[J].CAAI Transactions on Intelligent Systems,2014,9(5):560-568. Human-robot collaboration navigation of service robots for the elderly and disabled in an intelligent space JIANG Jiliang',TU Dawei2 (1.School of Mechatronic Engineering and Automation,Shanghai University,Shanghai 200072,China;2.Shanghai Key Laboratory of Intelligent Manufacturing and Robotics,Shanghai 200072,China) Abstract:For the users owning basic cognitive ability,such as the elderly with reduced mobility,physically disa- bled persons,and motion and speech impaired patients,a human-robot integrated navigation system is established for them in this paper.The two motion modes of random walking and autonomous navigation can be switched freely by the user through human-robot interaction.The robot triggers the production rules for generating the corresponding walking behavior according to surroundings and operating conditions.In the process of human-robot roaming,an in- telligent space is rendered synchronously on the interface of human-robot interaction based on augmented reality Therefore,the human-robot integrated perception,decision and execution are achieved in human-robot roaming. Human-robot roaming experiments for a mobile service robot were carried out in an indoor environment,which veri- fies the feasibility of the proposed system. Keywords:human-robot collaboration;navigation;intelligent space;human-robot interaction;human-robot cou- pling;service robot 人机协作(human-robot collaboration,HRC)具有 种原因导致的肢残人士及运动、语言患者的大量出 极其广阔的研究价值2。随着人口老龄化以及各 现,其基本需求是在家居、康复医院、养老院等室内 环境下实现自由移动作业,因此,发展先进的助老助 收稿日期:2013-07-01 基金项目:国家自然科学基金项目资助项目(51075252,6110117,残服务机器人成为社会发展和进步的迫切需要。在 61203351). 通信作者:屠大维.E-mail:td小w@shu.edu.cm. 这一应用中,除了机器人本身要具有局部的机器智
第 9 卷第 5 期 智 能 系 统 学 报 Vol.9 №.5 2014 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2014 DOI:10.3969 / j.issn.1673⁃4785.201307001 智能空间助老助残服务机器人人机协作导航 江济良1 ,屠大维1,2 (1.上海大学 机电工程与自动化学院,上海 200072; 2. 上海市智能制造及机器人重点实验室,上海 200072) 摘 要:针对具有基本认知行为能力的行动不便老人、肢残人士、运动和语言患者这类服务对象,构建了助老助残服 务机器人人机一体化导航系统。 用户与机器人之间进行交互,自由切换随机行走和自主导航 2 种运动模式,机器人 根据现场环境和作业条件的不同,实时触发人机条件响应生成规则而产生相应的行走行为,作业时人机界面同步呈 现虚实结合、实时交互的智能空间,实现人机一体化感知、决策与执行。 以移动作业服务机器人为对象进行室内人 机一体化导航作业,验证了该人机一体化导航系统的可行性。 关键词:人机协作;导航;智能空间;人机交互;人机耦合;服务机器人 中图分类号: TP18 文献标志码:A 文章编号:1673⁃4785(2014)05⁃0560⁃09 中文引用格式:江济良,屠大维.智能空间助老助残服务机器人人机协作导航[J]. 智能系统学报, 2014, 9(5): 560⁃568. 英文引用格式:JIANG Jiliang,TU Dawei. Human⁃robot collaboration navigation of service robots for the elderly and disabled in an intelligent space[J]. CAAI Transactions on Intelligent Systems, 2014, 9(5): 560⁃568. Human⁃robot collaboration navigation of service robots for the elderly and disabled in an intelligent space JIANG Jiliang 1 , TU Dawei 1,2 (1. School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China; 2. Shanghai Key Laboratory of Intelligent Manufacturing and Robotics, Shanghai 200072, China) Abstract:For the users owning basic cognitive ability, such as the elderly with reduced mobility, physically disa⁃ bled persons, and motion and speech impaired patients, a human⁃robot integrated navigation system is established for them in this paper. The two motion modes of random walking and autonomous navigation can be switched freely by the user through human⁃robot interaction. The robot triggers the production rules for generating the corresponding walking behavior according to surroundings and operating conditions. In the process of human⁃robot roaming, an in⁃ telligent space is rendered synchronously on the interface of human⁃robot interaction based on augmented reality. Therefore, the human⁃robot integrated perception, decision and execution are achieved in human⁃robot roaming. Human⁃robot roaming experiments for a mobile service robot were carried out in an indoor environment, which veri⁃ fies the feasibility of the proposed system. Keywords:human⁃robot collaboration; navigation; intelligent space; human⁃robot interaction; human⁃robot cou⁃ pling; service robot 收稿日期:2013⁃07⁃01. 基金项目:国家自然科学基金项目资助项目 ( 51075252, 61101177, 61203351). 通信作者:屠大维. E⁃mail:tdw@ shu.edu.cn. 人机协作(human⁃robot collaboration,HRC)具有 极其广阔的研究价值[1⁃2] 。 随着人口老龄化以及各 种原因导致的肢残人士及运动、语言患者的大量出 现,其基本需求是在家居、康复医院、养老院等室内 环境下实现自由移动作业,因此,发展先进的助老助 残服务机器人成为社会发展和进步的迫切需要。 在 这一应用中,除了机器人本身要具有局部的机器智
第5期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·561. 能之外,还必需解决的一个重要问题是人机协作问 伙伴”,共同感知、协同决策、平等合作,实现达到甚 题,包括人机交互、人机一体化、人机协同、人机智能 至超过人的能力乃至智力的系统山。Y.Gu等设 融合等。在人机交互方面,近年来,随着增强现实技 计出一套基于增强学习的人机协作机械手[),用户 术的发展,使得人机交互的本质发生了根本性的变 与Nao拟人机器人协作完成搬运桌子作业。 化。研究者模拟出与真实世界同步对应的三维智能 从老、障、残这类特殊服务对象自身的认知特点 空间[3],并在虚拟世界中提供用户关于视觉、听 及其需求出发,构建了助老助残服务机器人人机一 觉、触觉等感官模拟,用户与空间中虚拟对象进行交 体化导航系统,并提出了基于智能空间的人机一体 互,实现人机间自然互通与无缝耦合。目前,增强现 化导航工作机制。用户与服务机器人一道,共同感 实已广泛应用于远程医疗、遥操作机器人、外骨骼机 知、自由对话、平等协作实现室内环境下人机一体化 器人等研究[6-] 导航 在人机一体化与人机智能方面,20世纪90年 代初,著名学者钱学森、戴汝为、路甬祥、陈鹰等从认 1人机一体化导航系统基本框架 知科学、人工智能、人机合作等不同角度提出了开放 1.1人机一体化导航系统基本框架 的复杂巨系统、大成智慧工程、人机一体化系统等概 图1为助老助残服务机器人人机一体化导航系 念9)。人机一体化系统强调人与机器组成“新型 统基本框架。 感知反馈 人机对话 避障导航 人机协作 中,年 生中,生中卡第 运动规划模块 人机耦合模块 机器人运动 室内环境(智能空间 控制模块 感知反馈模块 CCD前是 (老人 残疾人 人机交互与 视觉模块 患者) 消息对话模块 人机界面 服务机器人 激光雷达深度 用户 “智能房间” (服务机) (客户机) V 数据采集模块 人机交互: 虚拟漫游模块 无线 环境儿何 环境几何 通信 地图模块 地图模块 机器自主导航 动作解释及 生成规则库 智能模块 执行反馈模块 人机界面端 服务机器人端 图1助老助残服务机器人人机一体化导航系统基本框架 Fig.I Basic conception of the human-robot integrated navigation system of service robots for elderly and disabled assistance 用户与机器(计算机或机器人)一道,共同感知、协 常用的人机交互装置,但老、障、残人士需要专门的 同决策、平等协作完成感知反馈、人机对话和避障导航 人机效应通道和人机界面。本文基于Microsoft Ki- 等一系列动作或任务,实现室内半结构化环境人机协 nect for windows开发出“眼动-视觉”、“语音-听觉” 作导航。人机界面(服务机)与服务机器人(客户机)之 和简单手势等3种实现人机间自然互通的人机效应 间通过组建基于C/S架构的无线局域网进行通信。 通道,并配有相应的输入输出人机界面13],如图2 1.2人机界面 所示。通过选择/激活菜单中4个方向键和激活键 对于正常人而言,鼠标、键盘、触摸屏等是方便、 来选择和确认任务菜单中相应的任务栏,任务菜单
能之外,还必需解决的一个重要问题是人机协作问 题,包括人机交互、人机一体化、人机协同、人机智能 融合等。 在人机交互方面,近年来,随着增强现实技 术的发展,使得人机交互的本质发生了根本性的变 化。 研究者模拟出与真实世界同步对应的三维智能 空间[3⁃5] ,并在虚拟世界中提供用户关于视觉、听 觉、触觉等感官模拟,用户与空间中虚拟对象进行交 互,实现人机间自然互通与无缝耦合。 目前,增强现 实已广泛应用于远程医疗、遥操作机器人、外骨骼机 器人等研究[6⁃8] 。 在人机一体化与人机智能方面,20 世纪 90 年 代初,著名学者钱学森、戴汝为、路甬祥、陈鹰等从认 知科学、人工智能、人机合作等不同角度提出了开放 的复杂巨系统、大成智慧工程、人机一体化系统等概 念[9⁃10] 。 人机一体化系统强调人与机器组成“新型 伙伴”,共同感知、协同决策、平等合作,实现达到甚 至超过人的能力乃至智力的系统[11] 。 Y. Gu 等设 计出一套基于增强学习的人机协作机械手[12] ,用户 与 Nao 拟人机器人协作完成搬运桌子作业。 从老、障、残这类特殊服务对象自身的认知特点 及其需求出发,构建了助老助残服务机器人人机一 体化导航系统,并提出了基于智能空间的人机一体 化导航工作机制。 用户与服务机器人一道,共同感 知、自由对话、平等协作实现室内环境下人机一体化 导航。 1 人机一体化导航系统基本框架 1.1 人机一体化导航系统基本框架 图 1 为助老助残服务机器人人机一体化导航系 统基本框架。 图 1 助老助残服务机器人人机一体化导航系统基本框架 Fig.1 Basic conception of the human⁃robot integrated navigation system of service robots for elderly and disabled assistance 用户与机器(计算机或机器人)一道,共同感知、协 同决策、平等协作完成感知反馈、人机对话和避障导航 等一系列动作或任务,实现室内半结构化环境人机协 作导航。 人机界面(服务机)与服务机器人(客户机)之 间通过组建基于 C/ S 架构的无线局域网进行通信。 1.2 人机界面 对于正常人而言,鼠标、键盘、触摸屏等是方便、 常用的人机交互装置,但老、障、残人士需要专门的 人机效应通道和人机界面。 本文基于 Microsoft Ki⁃ nect for windows 开发出“眼动-视觉”、“语音-听觉” 和简单手势等 3 种实现人机间自然互通的人机效应 通道,并配有相应的输入/ 输出人机界面[1 3 ] ,如图 2 所示。 通过选择/ 激活菜单中 4 个方向键和激活键 来选择和确认任务菜单中相应的任务栏,任务菜单 第 5 期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·561·
.562 智能系统学报 第9卷 提示并引导用户输入意愿或命令,人机界面输出文 嘈杂等因素,系统只需识别特定简单词汇“左”、 字、声音、图形等多媒体信息。图3为该人机一体化 “右”对选择/激活菜单中当前功能键进行选择,用 导航系统的树形任务菜单结构图。 户发出“是”激活当前功能键实现对任务菜单当前 CCD局威百百任智能环境 任务栏进行选择与执行。 视网移动操作房间地图 务菜单 简单手势通道是指为双手尚具有活动能力的患 者提供的,设置“伸左手”、“伸右手”和“握拳头”3 种简单自然的手势,用户“伸左手”或“伸右手”用于 CCD视頫窗口 “智能房间”窗口 音 对选择/激活菜单中当前功能键进行选择,用户任 图 只手“握拳头”激活当前功能键实现对任务菜单当 人机对话消息栏 前任务栏进行选择与执行。 局域网 环境几何 连接 k→ 地图窗口 在上述人机效应通道的基础上,为营造虚拟作 面 业的“临场感”,在人机界面上开发出CCD视频窗 图2 人机效应通道及输入/输出人机界面 口、环境几何地图窗口、“智能房间”窗口、人机对话 Fig,2 HRI channels and its I/O interface 消息栏等模块。其中CCD视频窗口显示机器人前 方作业环境,环境地图窗口显示室内环境电子地图, 级菜单 CCD 自由 任意 智能 环境 视频 局域网 移动 操作 房间 地图 “智能房间”窗口显示与实际机器人同步运动的三 维图像,人机对话消息栏显示人机一体化导航过程 关闭视颜 双 视频回放 开启视频 网络连接 馏 单臂 操作 模型左移 图 右移 移复 图宿 认大 中人机对话所发送的消息。 作 1.3服务机器人 对于该人机协作导航系统而言,服务机器人具 级菜单 视频快进 视频快退 视频放大 地左转 原地右转 自主导航 弧线左转 弧线右转 模型上 模型下 模型复位 模型放 模型缩小 有基于生物触角的仿生条件反射导航智能。机器人 依靠生物触角实时感知外部环境而产生适当的运动 反应,其原理参考文献[),本文仅对该算法作一简 单介绍。定义以下符号:机器人起点S,目标点T, 视频缩小 全屏提示 默认显示 返回 准转 开转向 线 返 缩放复位 轴正向旋 轴负 公 负向 返 当前位置X,用相遇点H表示碰到障碍物时所处的 向旋转 位置点,用脱离点L表示绕行障碍物边缘结束时所 处的位置点。该算法的4种机器人行走行为如下: 图3树形任务莱单 1)对准转向:指在S和L处执行的旨在对准T Fig.3 The tree tasks menu 的原地转向动作,直到对准为止。 在“眼动-视觉”人机效应通道中,用Microsoft 2)直线前进:指在对准目标点T后所执行的沿 Kinect for windows捕捉用户眼晴“开闭”和注视视线 XT方向的直线行走动作,直到到达目标点T或者遇 的停留状态。当用户左眼闭、右眼开(或左眼开、右 到障碍物为止。 眼闭)时,选择/激活菜单中当前功能键往左(或右) 3)避开转向:指在障碍物边缘绕行过程中所执 移动一格。当用户眼晴注视当前功能键并停留一段 行的为远离障碍物而实施的原地转向动作,直至检 时间,则该功能键被激活并连续“闪”2下,实现对任 测不到障碍物为止。 务菜单中的任务栏进行选择与执行。“上”、“下” 4)弧线绕行:指在障碍物边缘所执行的沿一定 “左”和“右”4个功能键激活分别对应任务菜单当 曲率半径圆弧绕行行走动作,直至再次遇到障碍物 前任务栏往上、下、左和右跳动一格,同时发出“嘀” 或满足脱离条件为止。 的一声提示音:“0K”功能键激活对应任务菜单当前 该算法提出对准规则、相遇规则、避开规则、脱 任务栏激活,并连续“闪”2下给用户以提示。“语音 离规则和终点规则5种触发规则用于确定机器人行 -听觉”通道是基于Microsoft Speech Platform SDK 走行为的触发时机,其导航原理如图4所示。该算 11.0语音识别与语音合成开发包来开发的。为了 法容易忽视环境中障碍物之间的间隙,避障效率低 提高语音识别的准确率,克服用户发音不标准、环境 环境适应性差,存在“局部死区”问题。本文试图从
提示并引导用户输入意愿或命令,人机界面输出文 字、声音、图形等多媒体信息。 图 3 为该人机一体化 导航系统的树形任务菜单结构图。 图 2 人机效应通道及输入/ 输出人机界面 Fig.2 HRI channels and its I/ O interface 图 3 树形任务菜单 Fig.3 The tree tasks menu 在“眼动-视觉” 人机效应通道中,用 Microsoft Kinect for windows 捕捉用户眼睛“开闭”和注视视线 的停留状态。 当用户左眼闭、右眼开(或左眼开、右 眼闭)时,选择/ 激活菜单中当前功能键往左(或右) 移动一格。 当用户眼睛注视当前功能键并停留一段 时间,则该功能键被激活并连续“闪”2 下,实现对任 务菜单中的任务栏进行选择与执行。 “上”、“下”、 “左”和“右” 4 个功能键激活分别对应任务菜单当 前任务栏往上、下、左和右跳动一格,同时发出“嘀” 的一声提示音;“OK”功能键激活对应任务菜单当前 任务栏激活,并连续“闪”2 下给用户以提示。 “语音 -听觉” 通道是基于 Microsoft Speech Platform SDK 11.0 语音识别与语音合成开发包来开发的。 为了 提高语音识别的准确率,克服用户发音不标准、环境 嘈杂等因素,系统只需识别特定简单词汇“ 左”、 “右”对选择/ 激活菜单中当前功能键进行选择,用 户发出“是”激活当前功能键实现对任务菜单当前 任务栏进行选择与执行。 简单手势通道是指为双手尚具有活动能力的患 者提供的,设置“伸左手”、“伸右手” 和“握拳头” 3 种简单自然的手势,用户“伸左手”或“伸右手”用于 对选择/ 激活菜单中当前功能键进行选择,用户任一 只手“握拳头”激活当前功能键实现对任务菜单当 前任务栏进行选择与执行。 在上述人机效应通道的基础上,为营造虚拟作 业的“临场感”,在人机界面上开发出 CCD 视频窗 口、环境几何地图窗口、“智能房间”窗口、人机对话 消息栏等模块。 其中 CCD 视频窗口显示机器人前 方作业环境,环境地图窗口显示室内环境电子地图, “智能房间”窗口显示与实际机器人同步运动的三 维图像,人机对话消息栏显示人机一体化导航过程 中人机对话所发送的消息。 1.3 服务机器人 对于该人机协作导航系统而言,服务机器人具 有基于生物触角的仿生条件反射导航智能。 机器人 依靠生物触角实时感知外部环境而产生适当的运动 反应,其原理参考文献[14] ,本文仅对该算法作一简 单介绍。 定义以下符号:机器人起点 S ,目标点 T , 当前位置 X ,用相遇点 H 表示碰到障碍物时所处的 位置点,用脱离点 L 表示绕行障碍物边缘结束时所 处的位置点。 该算法的 4 种机器人行走行为如下: 1)对准转向:指在 S 和 L 处执行的旨在对准 T 的原地转向动作,直到对准为止。 2)直线前进:指在对准目标点 T 后所执行的沿 XT 方向的直线行走动作,直到到达目标点 T 或者遇 到障碍物为止。 3)避开转向:指在障碍物边缘绕行过程中所执 行的为远离障碍物而实施的原地转向动作,直至检 测不到障碍物为止。 4)弧线绕行:指在障碍物边缘所执行的沿一定 曲率半径圆弧绕行行走动作,直至再次遇到障碍物 或满足脱离条件为止。 该算法提出对准规则、相遇规则、避开规则、脱 离规则和终点规则 5 种触发规则用于确定机器人行 走行为的触发时机,其导航原理如图 4 所示。 该算 法容易忽视环境中障碍物之间的间隙,避障效率低, 环境适应性差,存在“局部死区”问题。 本文试图从 ·562· 智 能 系 统 学 报 第 9 卷
第5期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·563. 人机协作的角度来解决这一问题。 尺寸,以及用户位置、机器人初始位置等:二是设置 起点S 服务机器人运动学参数,包括机器人位姿、角速度和 角加速度以及各关节的关节角、角速度以及角加速 对准旋向 度等。 N 对准规则 利用实际机器人左右驱动轮电机编码器和数字 Y 罗盘获得机器人在环境中的实时位姿,并经激光雷 直线前进 达依据固定的墙和门框的位置实现同步定位,将经 过自定位修正的机器人的初始位姿数据通过无线局 相遇规则 域网传到人机界面实现模型机器人初始定位。同 避开转向 理,将经过标定修正的服务机器人各关节初始关节 角也传到人机界面上来,实现模型机器人手臂末端 避开规则 Y 的初定位。 N 终点规则 弧线绕行→ 2.2人机耦合 Y 人机耦合是指通过人与机器之间的信息传递与 相遇规则> 反馈来实现人机同步映射与无缝衔接,达到人机间 IN 脱离规则一 自然互通,主要包括机器人前方作业视频传输、人机 消息对话的发送和“智能房间”同步运动三维模型 终点T 等。下面仅对同步运动原理作一简单介绍。假设该 图4基于生物触角的机器人导航算法 服务机器人采用两轮差动驱动,其两主动轮角速度 Fig.4 Navigation algorithm for mobile ro- bots based on biological antennas 分别为0,及w,,车轮半径为r,轮距为I。相对于 世界坐标系,用2个车轮中点P的坐标x、y及0来 2人机协作导航智能空间 描述机器人的位姿,则其正运动学模型为 2.1智能房间模型 cos0/2 cos0/2 对于该人机一体化系统而言,人与机器之间的 sin0/2 sin0/2 1) 信息交流是立体的、多媒介的、双向的。本文基于增 r@ 1/ -1/ 强现实技术实现了语音、文字、图像等多媒介信息的 人机交互,并通过多窗口设计将用户意愿、机器感 因而相对于世界坐标系机器人位姿为 知、机器执行、环境信息等都耦合到人机界面上来。 基于OpenGL三维图形库构建出“智能房间”三 =。+o,+,)o6 维模型,包含室内环境模型和服务机器人模型,如图 y=y0+ (2) 5所示。 式中:(x。yo,0)为机器人的初始位姿, (5(a+e,)cos0t,乞f(心a,+u,). 广。-))为:时刻反馈至人机界面的机 图5“智能房间”模型 器人位姿,其中t,=to+i·△t(i=0,1,2,…),△t为 Fig.5 Intelligent room model 反馈的时间间隔。将这些数据通过无线局域网传到 需注意以下2点:一是所建模型与真实环境保 人机界面来驱动模型机器人,即可实现模型机器人 持一致,需特别注意房间、门、室内固定物的位置和 与实际机器人的同步运动。通过物理学模拟与仿真
人机协作的角度来解决这一问题。 图 4 基于生物触角的机器人导航算法 Fig.4 Navigation algorithm for mobile ro⁃ bots based on biological antennas 2 人机协作导航智能空间 2.1 智能房间模型 对于该人机一体化系统而言,人与机器之间的 信息交流是立体的、多媒介的、双向的。 本文基于增 强现实技术实现了语音、文字、图像等多媒介信息的 人机交互,并通过多窗口设计将用户意愿、机器感 知、机器执行、环境信息等都耦合到人机界面上来。 基于 OpenGL 三维图形库构建出“智能房间”三 维模型,包含室内环境模型和服务机器人模型,如图 5 所示。 图 5 “智能房间”模型 Fig.5 Intelligent room model 需注意以下 2 点:一是所建模型与真实环境保 持一致,需特别注意房间、门、室内固定物的位置和 尺寸,以及用户位置、机器人初始位置等;二是设置 服务机器人运动学参数,包括机器人位姿、角速度和 角加速度以及各关节的关节角、角速度以及角加速 度等。 利用实际机器人左右驱动轮电机编码器和数字 罗盘获得机器人在环境中的实时位姿,并经激光雷 达依据固定的墙和门框的位置实现同步定位,将经 过自定位修正的机器人的初始位姿数据通过无线局 域网传到人机界面实现模型机器人初始定位。 同 理,将经过标定修正的服务机器人各关节初始关节 角也传到人机界面上来,实现模型机器人手臂末端 的初定位。 2.2 人机耦合 人机耦合是指通过人与机器之间的信息传递与 反馈来实现人机同步映射与无缝衔接,达到人机间 自然互通,主要包括机器人前方作业视频传输、人机 消息对话的发送和“智能房间”同步运动三维模型 等。 下面仅对同步运动原理作一简单介绍。 假设该 服务机器人采用两轮差动驱动,其两主动轮角速度 分别为 ωl 及 ωr ,车轮半径为 r ,轮距为 l 。 相对于 世界坐标系,用 2 个车轮中点 P 的坐标 x、y 及 θ 来 描述机器人的位姿,则其正运动学模型为 x · y · θ · é ë ê ê ê ê ê ù û ú ú ú ú ú = cosθ / 2 cosθ / 2 sinθ / 2 sinθ / 2 1 / l - 1 / l é ë ê ê ê ê ù û ú ú ú ú rωr rωl é ë ê ê ù û ú ú (1) 因而相对于世界坐标系机器人位姿为 x = x0 + r 2 ∫ t 0 (ωr + ωl)cosθdt y = y0 + r 2 ∫ t 0 (ωr + ωl)sinθdt θ = θ0 + 1 l ∫ t 0 (ωr - ωl)rdt ì î í ï ï ï ï ï ï ï ï (2) 式 中: (x0 ,y0 ,θ0 ) 为 机 器 人 的 初 始 位 姿, ( r 2 ∫ t i 0 ( ωr +ωl)cosθdt, r 2 ∫ t i 0 (ωr + ωl)sinθdt, 1 l ∫ t i 0 (ωr - ωl)rdt) 为 t i 时刻反馈至人机界面的机 器人位姿,其中 t i = t 0 + i·Δt (i = 0,1,2,…) , Δt 为 反馈的时间间隔。 将这些数据通过无线局域网传到 人机界面来驱动模型机器人,即可实现模型机器人 与实际机器人的同步运动。 通过物理学模拟与仿真 第 5 期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·563·
·564. 智能系统学报 第9卷 来提高智能房间的智能水平,包括模型碰撞干涉测 例如当用户通过人机界面向服务机器人发出“用户 试、室内物品重力效应测试等。导航过程中,人机界 发出前进命令!”,机器人对其进行判断可行则执行 面上呈现虚实结合、实时交互的人机耦合智能空间, 前进运动,并向用户发出“机器人正处于前进运动 人在系统回路中同步感受机器人的位置、姿态和作 中!”消息,否则保持当前运动状态并向用户发出 业进程,了解环境状况,营造虚拟作业的“临场感”。 “机器人无法执行前进运动!”消息。 2)机器请求一用户协助是指机器执行过程中 人机协作导航工作机制 遇到困难向用户发出请求给予必要的协助。例如当 3.1人机消息对话 机器人陷入“局部死区”,则向用户发出“机器人陷 将人与机器(计算机或机器人)看成是平等协 入局部死区!”,用户发挥自身智能发送相应的协助 作的“新型伙伴”,提出人机消息对话机制如图6。 消息来帮助机器人脱离“局部死区”。 3)机器引导一用户确认是指机器向用户发出 ① 消息发送器 ② 年 的默认提示、意图识别等引导信息,用户向机器发出 人机 相应的选择与确认信息。例如当机器人导航运动道 卢患 交互 务机器 (客户端) ④「 ⑤ 消息接收器 路上存在多个房间选择,而用户并未指定目标房间, 则向用户发出“请问进入哪一房间?”,并在人机界 图6人机消息对话工作机制 面上依据概率大小列出所有房间号,用户发出选择 Fig.6 The mechanism of HRI in message dialogues 与确认房间号的消息。 表1列出了人机对话消息库中用户意愿一机器 4)机器自主一机器提示是指机器局部自主执 提示、机器请求一用户协助、机器引导一用户确认和 行过程中根据现场环境条件变化实时切换相应的行 机器自主一机器提示4种类型的人机对话消息,并 为动作,并同时向用户和机器本身发出相应的提示 给出对应的人机对话消息流向及格式。 消息。当机器人接收到提示消息时,则立即切换相 1)用户意愿一机器提示是指用户向机器下达 应的行为动作,用户实时感知这一变化。此类型人 意愿命令,机器予以执行并向用户发送提示消息。 机消息对话主要体现在机器局部自主导航中。 表1人机对话消息库 Table 1 Message dialogues database of human-robot interaction 人机对话消息类型 人机对话消息流向 人机对话消息格式 用户意愿一机器提示①③④一①③④、①3⑤一②③④用户向机器下达意愿命令,机器向用户发出相应提示信息。 机器请求一用户协助①③④一①③④、②③④一①③⑤机器向用户发出请求信息,用户给出相应的协助信息。 机器引导一用户确认①③④一①③④.②③④一①③⑤机器向用户发出引导信息,用户发出选择与确认信息。 机器自主-机器提示④-①③④、②③⑤-②③④ 机器自主执行任务,并向用户发出相应的提示信息。 3.2人机条件响应生成规则 中,机器人在用户的意愿命令下随机行走,只有当特 人机协作导航包括随机行走和自主导航2种运 定的条件成立时才停止运动,否则继续保持当前运 动模式。随机行走是指在不指定目标点情形下的人 动状态。在自主导航中,机器人依靠生物触角感知 机协作导航过程。自主导航是指在指定目标点情形 外界环境,激励触发产生相应的行走行为来实现定 下的机器人局部自主导航过程。2种运动模式既相 目标点自主导航。整个导航过程中机器人通过人机 互独立,根据用户需要自由进行切换:又相互补充, 消息对话给用户以提示。 根据现实环境需求进行配合,取长补短。 由生成规则7和17看出,用户根据自身需要自 表2为建立的人机条件响应生成规则库(4种 由切换运动模式,充分满足用户在真实环境中自由 行走行为和5种判断规则见1.3节)。在随机行走 移动的需要。随机行走模式适合工作在障碍物稀
来提高智能房间的智能水平,包括模型碰撞干涉测 试、室内物品重力效应测试等。 导航过程中,人机界 面上呈现虚实结合、实时交互的人机耦合智能空间, 人在系统回路中同步感受机器人的位置、姿态和作 业进程,了解环境状况,营造虚拟作业的“临场感”。 3 人机协作导航工作机制 3.1 人机消息对话 将人与机器(计算机或机器人)看成是平等协 作的“新型伙伴”,提出人机消息对话机制如图 6。 图 6 人机消息对话工作机制 Fig.6 The mechanism of HRI in message dialogues 表 1 列出了人机对话消息库中用户意愿—机器 提示、机器请求—用户协助、机器引导—用户确认和 机器自主—机器提示 4 种类型的人机对话消息,并 给出对应的人机对话消息流向及格式。 1)用户意愿—机器提示是指用户向机器下达 意愿命令,机器予以执行并向用户发送提示消息。 例如当用户通过人机界面向服务机器人发出“用户 发出前进命令!”,机器人对其进行判断可行则执行 前进运动,并向用户发出“机器人正处于前进运动 中!”消息,否则保持当前运动状态并向用户发出 “机器人无法执行前进运动!”消息。 2)机器请求—用户协助是指机器执行过程中 遇到困难向用户发出请求给予必要的协助。 例如当 机器人陷入“局部死区”,则向用户发出“机器人陷 入局部死区!”,用户发挥自身智能发送相应的协助 消息来帮助机器人脱离“局部死区”。 3)机器引导—用户确认是指机器向用户发出 的默认提示、意图识别等引导信息,用户向机器发出 相应的选择与确认信息。 例如当机器人导航运动道 路上存在多个房间选择,而用户并未指定目标房间, 则向用户发出“请问进入哪一房间?”,并在人机界 面上依据概率大小列出所有房间号,用户发出选择 与确认房间号的消息。 4)机器自主—机器提示是指机器局部自主执 行过程中根据现场环境条件变化实时切换相应的行 为动作,并同时向用户和机器本身发出相应的提示 消息。 当机器人接收到提示消息时,则立即切换相 应的行为动作,用户实时感知这一变化。 此类型人 机消息对话主要体现在机器局部自主导航中。 表 1 人机对话消息库 Table 1 Message dialogues database of human⁃robot interaction 人机对话消息类型 人机对话消息流向 人机对话消息格式 用户意愿—机器提示 ①③④—①③④、①③⑤—②③④ 用户向机器下达意愿命令,机器向用户发出相应提示信息。 机器请求—用户协助 ①③④—①③④、②③④—①③⑤ 机器向用户发出请求信息,用户给出相应的协助信息。 机器引导—用户确认 ①③④—①③④、②③④—①③⑤ 机器向用户发出引导信息,用户发出选择与确认信息。 机器自主—机器提示 ④—①③④、②③⑤—②③④ 机器自主执行任务,并向用户发出相应的提示信息。 3.2 人机条件响应生成规则 人机协作导航包括随机行走和自主导航 2 种运 动模式。 随机行走是指在不指定目标点情形下的人 机协作导航过程。 自主导航是指在指定目标点情形 下的机器人局部自主导航过程。 2 种运动模式既相 互独立,根据用户需要自由进行切换;又相互补充, 根据现实环境需求进行配合,取长补短。 表 2 为建立的人机条件响应生成规则库(4 种 行走行为和 5 种判断规则见 1.3 节)。 在随机行走 中,机器人在用户的意愿命令下随机行走,只有当特 定的条件成立时才停止运动,否则继续保持当前运 动状态。 在自主导航中,机器人依靠生物触角感知 外界环境,激励触发产生相应的行走行为来实现定 目标点自主导航。 整个导航过程中机器人通过人机 消息对话给用户以提示。 由生成规则 7 和 17 看出,用户根据自身需要自 由切换运动模式,充分满足用户在真实环境中自由 移动的需要。 随机行走模式适合工作在障碍物稀 ·564· 智 能 系 统 学 报 第 9 卷
第5期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·565. 少、空间开阔的环境:自主导航模式适合工作在障碍 物密集、空间较为狭小的环境。 表2人机条件响应生成规则库 Table 2 Production rules database of human-robot collaboration F(条件》 THEN(条件) 1)处于随机行走直线前进中,相遇规则成立: 直线前进停止,提示用户前方遇到障碍物及障碍物方位。 2)处于随机行走弧线绕行中,相遇规则成立: 弧线绕行停止,提示用户绕行遇到障碍物及障碍物方位。 3)处于随机行走弧线绕行中,脱离规则成立: 弧线绕行停止,提示用户到达脱离点。 4)处于随机行走避开转向中,避开规则成立: 避开转向停止,提示用户机器人避开障碍物。 5)处于随机行走中,弧线绕行或避开转向一周: 随机行走停止,提示用户机器人陷入“局部死区”。 6)处于随机行走中,机器人检测到其附近存在多个房间: 随机行走停止,提示用户“请选择进入哪一个房间!”。 7)处于随机行走中,用户指定需要到达的目标点: 随机行走终止,切换成自主导航模式。 8)处于随机行走中,用户下达停止命令: 随机行走停止,提示用户机器人停止运动。 9)处于自主导航中,弧线绕行或避开转向一周: 自主导航停止,提示用户机器人陷人“局部死区”。 10)处于自主导航直线前进中,相遇规则成立: 直线前进结束,避开转向触发。 11)处于自主导航直线前进中,终点规则成立: 直线前进结束,终点登陆程序启动。 12)处于自主导航弧线绕行中,相遇规则成立; 弧线绕行结束,避开转向触发。 13)处于自主导航孤线绕行中,脱离规则成立; 弧线绕行结束,对准转向触发。 14)处于自主导航避开转向中,避开规则成立: 避开转向结束,弧线绕行触发。 15)处于自主导航对准转向中,对准规则成立; 对准转向结束,直线前进触发。 16)处于自主导航终点登陆中,终点登陆程序结束: 自主导航结束,提示用户成功到达目标点。 17)处于自主导航中,用户取消需要到达的目标点; 自主导航终止,切换成随机行走模式。 3.3人机一体化导航工作机制 机系统的领导者,负责整体的控制和协助,充分享有 图7为构建的助老助残服务机器人人机协作导 机器(计算机或机器人)提供的服务:机器是整个人 航工作机制,主要体现在以下3个层面。 机系统的执行者,在用户的意愿和指导下最大限度 1)人机共知:通过人机耦合实现用户与机器 地去完成作业任务。 (计算机或机器人)间信息的同步映射与无缝衔接, 4人机一体化导航实验 达到共同感知、认知的目的。在人机协作过程中,通 过增强现实将用户意图、机器感知、执行信息及环境 4.1人机一体化导航系统 对象信息等耦合到人机界面,给人以“临境感”。 助老助残服务机器人人机一体化导航系统由用 2)人机协商:通过人机对话来实现用户与机器 户、人机界面(服务端)、服务机器人(客户端)组成, (计算机或机器人)之间进行平等协商,达到人机协助老助残服务机器人人机一体化导航系统如图8所 同决策的目的。人的智能主要体现在定性分析判断 示。用户基于Microsoft Kinect for windows通过“视 决策上,如目标识别、路径规划等:机器智能主要体 觉-眼动”、“听觉-语音”、自然手势等3种简单自然 现在定量计算推理上,如弧线绕行半径的选择、生成 的人机效应通道与人机界面进行交互。人机界面与 规则的触发等。通过人机消息对话来进行人机协同 服务机器人通过组建基于C/S架构的局域网实现无 决策,提高了人机系统的冗余度和稳定性。 线通信。该服务机器人安装了2个六自由度轻量化 3)人机执行:通过人机条件响应生成规则的不手臂,移动平台采用独立两轮差动驱动,并配备各种 断触发过程来实现室内半结构化环境人机协作导 传感器,包括激光雷达、双目视觉传感器、顶部CCD 航。在人机一体化执行中,以人为本,用户是整个人 摄像机、驱动电机编码器、GPS等
少、空间开阔的环境;自主导航模式适合工作在障碍 物密集、空间较为狭小的环境。 表 2 人机条件响应生成规则库 Table 2 Production rules database of human⁃robot collaboration IF〈条件〉 THEN〈条件〉 1)处于随机行走直线前进中,相遇规则成立; 直线前进停止,提示用户前方遇到障碍物及障碍物方位。 2)处于随机行走弧线绕行中,相遇规则成立; 弧线绕行停止,提示用户绕行遇到障碍物及障碍物方位。 3)处于随机行走弧线绕行中,脱离规则成立; 弧线绕行停止,提示用户到达脱离点。 4)处于随机行走避开转向中,避开规则成立; 避开转向停止,提示用户机器人避开障碍物。 5)处于随机行走中,弧线绕行或避开转向一周; 随机行走停止,提示用户机器人陷入“局部死区”。 6)处于随机行走中,机器人检测到其附近存在多个房间; 随机行走停止,提示用户“请选择进入哪一个房间!”。 7)处于随机行走中,用户指定需要到达的目标点; 随机行走终止,切换成自主导航模式。 8)处于随机行走中,用户下达停止命令; 随机行走停止,提示用户机器人停止运动。 9)处于自主导航中,弧线绕行或避开转向一周; 自主导航停止,提示用户机器人陷入“局部死区”。 10)处于自主导航直线前进中,相遇规则成立; 直线前进结束,避开转向触发。 11)处于自主导航直线前进中,终点规则成立; 直线前进结束,终点登陆程序启动。 12)处于自主导航弧线绕行中,相遇规则成立; 弧线绕行结束,避开转向触发。 13)处于自主导航弧线绕行中,脱离规则成立; 弧线绕行结束,对准转向触发。 14)处于自主导航避开转向中,避开规则成立; 避开转向结束,弧线绕行触发。 15) 处于自主导航对准转向中,对准规则成立; 对准转向结束,直线前进触发。 16)处于自主导航终点登陆中,终点登陆程序结束; 自主导航结束,提示用户成功到达目标点。 17)处于自主导航中,用户取消需要到达的目标点; 自主导航终止,切换成随机行走模式。 3.3 人机一体化导航工作机制 图 7 为构建的助老助残服务机器人人机协作导 航工作机制,主要体现在以下 3 个层面。 1)人机共知:通过人机耦合实现用户与机器 (计算机或机器人)间信息的同步映射与无缝衔接, 达到共同感知、认知的目的。 在人机协作过程中,通 过增强现实将用户意图、机器感知、执行信息及环境 对象信息等耦合到人机界面,给人以“临境感”。 2)人机协商:通过人机对话来实现用户与机器 (计算机或机器人)之间进行平等协商,达到人机协 同决策的目的。 人的智能主要体现在定性分析判断 决策上,如目标识别、路径规划等;机器智能主要体 现在定量计算推理上,如弧线绕行半径的选择、生成 规则的触发等。 通过人机消息对话来进行人机协同 决策,提高了人机系统的冗余度和稳定性。 3)人机执行:通过人机条件响应生成规则的不 断触发过程来实现室内半结构化环境人机协作导 航。 在人机一体化执行中,以人为本,用户是整个人 机系统的领导者,负责整体的控制和协助,充分享有 机器(计算机或机器人)提供的服务;机器是整个人 机系统的执行者,在用户的意愿和指导下最大限度 地去完成作业任务。 4 人机一体化导航实验 4.1 人机一体化导航系统 助老助残服务机器人人机一体化导航系统由用 户、人机界面(服务端)、服务机器人(客户端)组成, 助老助残服务机器人人机一体化导航系统如图 8 所 示。 用户基于 Microsoft Kinect for windows 通过“视 觉-眼动”、“听觉-语音”、自然手势等 3 种简单自然 的人机效应通道与人机界面进行交互。 人机界面与 服务机器人通过组建基于 C / S 架构的局域网实现无 线通信。 该服务机器人安装了 2 个六自由度轻量化 手臂,移动平台采用独立两轮差动驱动,并配备各种 传感器,包括激光雷达、双目视觉传感器、顶部 CCD 摄像机、驱动电机编码器、GPS 等。 第 5 期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·565·
.566. 智能系统学报 第9卷 用户 人机交互 无线通信 人机界面一 执行感知 机器人 。环境(作 业对象) 控制命令 Y执行控制命令 任务需求 合理可行? N 控制命令 (前进、左转、停止等 N保持当前状态 同步想合 执行信息 机器智能是 信息反馈 机器感知 文字、声音、图像等 是否陷入局部死区? 发送请求 困 ?N机器决策 难 自主处理 是否存在多个房间选择? 用户参与决策 机器困难是否Y继续导航任务 决策信息 得到解决? 脱离“局部死区”、现场 情况判断、选择目标房间等 V保持当前状态 图7人机一体化导航工作机制 Fig.7 Human-robot collaboration navigation mechanism 助服务机器人进行人机协作自由移动。该服务机器 人具有基于生物触角的机器人导航智能。 4.2实验过程及结果分析 无线通信 图10显示机器人在走廊内检测到障碍物,在其自 主智能无法解决避障问题的情况下,向人发出“机器人 陷入局部死区!”消息。用户查看CCD摄像机获取的 绕行障碍物边缘过程现场视频图像(见图9),发现机器 人陷入室内走廊环境一侧的“局部死区”,凭借自身认 图8助老助残服务机器人人机一体化导航系统 知智能向机器人发出“弧线左转”指令调整机器人位姿 Fig.8 The human-robot integrated navigation system 至走廊另一侧的S'处。紧接着用户发出“自主导航” of a service robot for elderly and disabled assis- tance 指令,机器人依靠自身导航智能运动至目标点T。机 实验现场如图9所示。 器人在进入房间2过程中检测到房门处存在障碍物, 在其自主智能不能判断障碍物方位而无法进行下一步 操作的情况下,立即启动制动操作于S,'处停止下来, 并向人发出“机器人无法进入房间2!”的消息。 原站左转系地右 护 是开转向 图9实验现场环境 板第人格入局年吃瓜 Fig.9 Scene environments of experiments 个OK> 用户位于其中一个房间内,机器人位于走廊内, 走廊和房间中随机分布多种障碍物,包括箱柜、桌 图10机器人陷入局部死区时的人机界面 椅、室内物品等。用户智能正常却行动不便,需要借 Fig.10 The HRI whils the robot is trapped into a blind area
图 7 人机一体化导航工作机制 Fig.7 Human⁃robot collaboration navigation mechanism 图 8 助老助残服务机器人人机一体化导航系统 Fig.8 The human⁃robot integrated navigation system of a service robot for elderly and disabled assis⁃ tance 实验现场如图 9 所示。 图 9 实验现场环境 Fig.9 Scene environments of experiments 用户位于其中一个房间内,机器人位于走廊内, 走廊和房间中随机分布多种障碍物,包括箱柜、桌 椅、室内物品等。 用户智能正常却行动不便,需要借 助服务机器人进行人机协作自由移动。 该服务机器 人具有基于生物触角的机器人导航智能。 4.2 实验过程及结果分析 图 10 显示机器人在走廊内检测到障碍物,在其自 主智能无法解决避障问题的情况下,向人发出“机器人 陷入局部死区!”消息。 用户查看 CCD 摄像机获取的 绕行障碍物边缘过程现场视频图像(见图9),发现机器 人陷入室内走廊环境一侧的“局部死区”,凭借自身认 知智能向机器人发出“弧线左转”指令调整机器人位姿 至走廊另一侧的 S1 ′ 处。 紧接着用户发出“自主导航” 指令,机器人依靠自身导航智能运动至目标点 T1。 机 器人在进入房间 2 过程中检测到房门处存在障碍物, 在其自主智能不能判断障碍物方位而无法进行下一步 操作的情况下,立即启动制动操作于 S2 ′ 处停止下来, 并向人发出“机器人无法进入房间 2!”的消息。 图 10 机器人陷入局部死区时的人机界面 Fig.10 The HRI whils the robot is trapped into a blind area ·566· 智 能 系 统 学 报 第 9 卷
第5期 江济良,等:智能空间助老助残服务机器人人机协作导航 567. 用户根据机载CCD摄像机获取的现场视频图 效地完成了室内半结构化环境人机一体化导航作业 像,发现房间2的门是关着的,向机器人发出“开 任务。 门”指令,机器人伸展手臂打开房门。紧接着,用户 表3人机一体化导航运动情况统计 发出“自主导航”指令,机器人进入房间2运动至目 Table 3 Motions Statistics of human-robot collabora- 标点T2。机器人进入房间2后,凭借自身导航智能 tion roaming 绕开房间内障碍物顺利到达目标点T,。图11显示 类型 S-T S2~T2 S3~T3 机器人到达房间2指定位置,向用户发出“机器人 对准转向 3 2 直线前进 3 2 2 机器执行 避开转向 0 1 弧线绕行 0 1 用户参与 0 人落人成特川信每可 5 结论 1)从老、障、残这类特殊服务群体自身需求出 发,构建了助老助残服务机器人人机一体化导航系 图11机器人完成导航任务作业时的人机界面 统,并且提出了人机一体化导航工作机制。用户与 Fig.11 The HRI whils the navigation task is completed 机器一道,共同感知、协同决策、平等合作完成导航 成功到达目标点!”的消息。 图12为整个人机 作业,人机界面上同步呈现虚实结合、实时交互的智 一体化导航过程机器人的运动轨迹。图12中用矩 能空间,实现室内半结构化环境下人机一体化导航 形方框表示障碍物,其中虚线表示了机器人路径规 作业。 划的理论轨迹,实线表示机器人人机协同导航运动 2)该人机一体化导航系统开发出随机行走和 的实际轨迹。机器人沿着轨迹S,-S,'-T,(S2)- 自主导航2种导航运动模式,增加了人机协作导航 S2'-T,(S3)-T3成功到达目标点。从图12中可以 的冗余度,提升了用户参与的灵活性和舒适性。 看出,机器人人机协同导航实际运动的轨迹与理论 3)从机器智能的提高上看,除机器人具有局部 轨迹基本保持一致,具有良好的鲁棒性和冗余性。 导航智能外,人机界面上基于增强现实开发出CCD 实际轨迹 二维视频、“智能房间”、环境地图、人机对话消息等 理论轨迹 模块,增强“临场感”,提升了人机协作的真实性和 趣味性。 4)人机协作导航集中体现在人机共知、人机协 用户位置 商与人机执行3个层面,通过人机耦合、人机消息对 房间1 话和人机条件响应生成规则实现人机一体化感知、 三 0 箱柜 椅子 圆桌 决策与执行,达到了人机智能融合的目的。 水 机 13 参考文献: [1]AHMED N R,SAMPLE E M,CAMPBELL M.Bayesian 房间2 ▣TS)ST(S) multicategorical soft data fusion for human-robot collabora- -2 0 2 tion [J].IEEE Transactions on Robotics,2013,29(1): X/m 189-206. 图12人机一体化导航运动轨迹 2 WEISS A,WURHOFER D,LANKES M,et al.Autono- Fig.12 Trajectory of human-robot collaboration roaming mous vs.teleoperated:how people perceive human-robot 表3中给出了整个人机一体化导航过程的运动 collaboration with hrp-2[C]//IEEE International Confer- 情况统计。从表3中看出,整个人机一体化导航过 ence on Human Robot Interaction.La Jolla,CA,2009: 程中机器执行的运动次数远大于用户参与的次数。 257-258. 因此,在机器适当智能化的情况下,通过发挥人机协 [3]MINATO T,SHIMADA M,ISHIGURO H,et al.Develop- 同的优势将人的智能融合到机器执行之中,顺利、高 ment of an android robot for studying human-robot interac- tion J].Innovations in Applied Artificial Intelligence
用户根据机载 CCD 摄像机获取的现场视频图 像,发现房间 2 的门是关着的,向机器人发出“开 门”指令,机器人伸展手臂打开房门。 紧接着,用户 发出“自主导航”指令,机器人进入房间 2 运动至目 标点 T2 。 机器人进入房间 2 后,凭借自身导航智能 绕开房间内障碍物顺利到达目标点 T3 。 图 11 显示 机器人到达房间 2 指定位置,向用户发出“机器人 图 11 机器人完成导航任务作业时的人机界面 Fig.11 The HRI whils the navigation task is completed 成功到达目标点!”的消息。 图 12 为整个人机 一体化导航过程机器人的运动轨迹。 图 12 中用矩 形方框表示障碍物,其中虚线表示了机器人路径规 划的理论轨迹,实线表示机器人人机协同导航运动 的实际轨迹。 机器人沿着轨迹 S1 - S1 ′ - T1 S2 ( ) - S2 ′ - T2 S3 ( ) - T3 成功到达目标点。 从图 12 中可以 看出,机器人人机协同导航实际运动的轨迹与理论 轨迹基本保持一致,具有良好的鲁棒性和冗余性。 图 12 人机一体化导航运动轨迹 Fig.12 Trajectory of human⁃robot collaboration roaming 表 3 中给出了整个人机一体化导航过程的运动 情况统计。 从表 3 中看出,整个人机一体化导航过 程中机器执行的运动次数远大于用户参与的次数。 因此,在机器适当智能化的情况下,通过发挥人机协 同的优势将人的智能融合到机器执行之中,顺利、高 效地完成了室内半结构化环境人机一体化导航作业 任务。 表 3 人机一体化导航运动情况统计 Table 3 Motions Statistics of human⁃robot collabora⁃ tion roaming 类型 S1 ~ T1 S2 ~ T2 S3 ~ T3 机器执行 对准转向 3 1 2 直线前进 3 2 2 避开转向 4 0 1 弧线绕行 4 0 1 用户参与 1 1 0 5 结论 1)从老、障、残这类特殊服务群体自身需求出 发,构建了助老助残服务机器人人机一体化导航系 统,并且提出了人机一体化导航工作机制。 用户与 机器一道,共同感知、协同决策、平等合作完成导航 作业,人机界面上同步呈现虚实结合、实时交互的智 能空间,实现室内半结构化环境下人机一体化导航 作业。 2)该人机一体化导航系统开发出随机行走和 自主导航 2 种导航运动模式,增加了人机协作导航 的冗余度,提升了用户参与的灵活性和舒适性。 3)从机器智能的提高上看,除机器人具有局部 导航智能外,人机界面上基于增强现实开发出 CCD 二维视频、“智能房间”、环境地图、人机对话消息等 模块,增强“临场感”,提升了人机协作的真实性和 趣味性。 4)人机协作导航集中体现在人机共知、人机协 商与人机执行 3 个层面,通过人机耦合、人机消息对 话和人机条件响应生成规则实现人机一体化感知、 决策与执行,达到了人机智能融合的目的。 参考文献: [1] AHMED N R, SAMPLE E M, CAMPBELL M. Bayesian multicategorical soft data fusion for human⁃robot collabora⁃ tion [J]. IEEE Transactions on Robotics, 2013, 29( 1): 189⁃206. [2] WEISS A, WURHOFER D, LANKES M, et al. Autono⁃ mous vs. teleoperated: how people perceive human⁃robot collaboration with hrp⁃2 [ C] / / IEEE International Confer⁃ ence on Human Robot Interaction. La Jolla, CA, 2009: 257⁃258. [3]MINATO T, SHIMADA M, ISHIGURO H, et al. Develop⁃ ment of an android robot for studying human⁃robot interac⁃ tion [ J ]. Innovations in Applied Artificial Intelligence, 第 5 期 江济良,等:智能空间助老助残服务机器人人机协作导航 ·567·
·568. 智能系统学报 第9卷 2004:424-434. Engineering,1994,30(5):1-7. [4]GREEN S A,CHASE J G,CHEN X Q,et al.Evaluating [11]杨灿军,陈鹰,路甬祥.人机一体化智能系统理论及应用 the augmented reality human-robot collaboration system[J]. 研究探索[J].机械工程学报,2000,36(6):42-47. Intemational Journal of Intelligent Systems Technologies and YANG CANJUN,CHEN YING,LU YONGXIANG.Study Applications,2010,8(1):130-143. on the humachine intelligent system and its application[J]. [5]DAUTENHAHN K.Socially intelligent robots:dimensions of 2000,36(6):42-47. human-robot interaction[J].Philosophical Transactions of [12]GU Y,THOBBI A,SHENG W.Human-robot collaborative the Royal Society B:Biological Sciences,2007,362:679- manipulation through imitation and reinforcement learning 704. [C].IEEE ICIA International Conference.[s.n.],2011: [6]赵泽,崔莉.一种基于无线传感器网络的远程医疗监护 151-156. 系统[J].信息与控制,2006,35(2):265-269. [13]赵其杰,服务机器人多通道人机交互感知反馈工作机 ZHAO Ze,CUI Li.A remote health care system based on 制及关键技术[D].上海:上海大学,2005:18-36. wireless sensor networks [J].Information and Control, ZHAO Qijie,Information perception and feedback mecha- 2006,35(2):265-269. nism and key techniques of multi-modality human-robot in- [7]赵迪,李世其,朱文革,等.基于虚拟现实的空间机器 teraction for service robots [D].Shanghai:Shanghai Uni- 人遥操作在维护作业中的应用[J].航天器工程,2010, versity,2005:18-36. 4:92-98 [14]江济良,屠大维,许烁,等.基于生物触角的仿生条件 ZHAO Di,LI Shiqi,ZHU Wenge,et al.Application of VR- 反射机器人导航算法[J].电子学报,2013,41(3): based space robot teleoperation in maintenance work [J]. 388-394. Spacecraft Engineering,2010,4:92-98. JIANG Jiliang,TU Dawei,XU Shuo.Mobile robot naviga- [8]郭朝.基于分子马达的骨骼肌生物力学原理及其在外骨 tion algorithm of biomimetic conditioned reflex based on bi- 骼机器人人机力交互中应用[D].上海:上海交通大学, ological antennas[J].Acta Electronica Sinica,2013,41 2012:45-53. (3):388-394. GUO CHAO.Myosin II-based biomechanics principle of 作者简介: skeletal muscle and its application in human-machine inter- 江济良,男,1985年生,博士研究生, action for exoskeleton [D].Shanghai:Shanghai Jiaotong U- 主要研究方向为服务机器人、智能机器 niversity,2012:45-53. 人机器视觉、人机智能。 [9]戴汝为,人-机结合的智能科学和智能工程[J].中国工 程科学,2004,6(5):24-27. DAI Ruwei.Man-computer cooperative intelligent science and intelligent technology[J].Engineering Science,2004, 6(5):24-27. 屠大维,男,1965年生,教授,博士生 [10]路甬祥,陈鹰.人机一体化系统与技术一21世纪机械 导师,主要研究方向为机器视觉及伺服控 科学的重要发展方向[J]机械工程学报,1994,30(5): 制、光机电一体化智能机械及仪器、人机 1-7. 智能系统。 LU Yongxiang,CHEN Ying,HUMACHINE-A new word for the 21th century [J].Chinese Journal of Mechanical
2004: 424⁃434. [4]GREEN S A, CHASE J G, CHEN X Q, et al. Evaluating the augmented reality human⁃robot collaboration system[ J]. International Journal of Intelligent Systems Technologies and Applications, 2010, 8(1): 130⁃143. [5]DAUTENHAHN K. Socially intelligent robots: dimensions of human⁃robot interaction [ J]. Philosophical Transactions of the Royal Society B:Biological Sciences, 2007, 362: 679⁃ 704. [6]赵泽, 崔莉. 一种基于无线传感器网络的远程医疗监护 系统[J]. 信息与控制, 2006, 35(2): 265⁃269. ZHAO Ze, CUI Li. A remote health care system based on wireless sensor networks [ J ]. Information and Control, 2006, 35(2): 265⁃269. [7]赵迪, 李世其, 朱文革, 等. 基于虚拟现实的空间机器 人遥操作在维护作业中的应用[ J]. 航天器工程, 2010, 4: 92 ⁃98. ZHAO Di, LI Shiqi, ZHU Wenge, et al. Application of VR⁃ based space robot teleoperation in maintenance work [ J]. Spacecraft Engineering, 2010, 4: 92 ⁃98. [8]郭朝. 基于分子马达的骨骼肌生物力学原理及其在外骨 骼机器人人机力交互中应用[D]. 上海: 上海交通大学, 2012: 45⁃53. GUO CHAO. Myosin II⁃based biomechanics principle of skeletal muscle and its application in human⁃machine inter⁃ action for exoskeleton [D]. Shanghai: Shanghai Jiaotong U⁃ niversity, 2012: 45⁃53. [9]戴汝为, 人⁃机结合的智能科学和智能工程[ J].中国工 程科学, 2004, 6(5): 24⁃27. DAI Ruwei. Man⁃computer cooperative intelligent science and intelligent technology[ J]. Engineering Science, 2004, 6(5): 24⁃27. [10]路甬祥,陈鹰.人机一体化系统与技术———21 世纪机械 科学的重要发展方向[J].机械工程学报,1994, 30(5): 1⁃7. LU Yongxiang,CHEN Ying, HUMACHINE—A new word for the 21th century [J]. Chinese Journal of Mechanical Engineering, 1994, 30(5): 1⁃7. [11]杨灿军,陈鹰,路甬祥.人机一体化智能系统理论及应用 研究探索[J].机械工程学报, 2000, 36(6): 42⁃47 . YANG CANJUN, CHEN YING, LU YONGXIANG. Study on the humachine intelligent system and its application[J]. 2000, 36(6): 42⁃47. [12]GU Y, THOBBI A, SHENG W. Human⁃robot collaborative manipulation through imitation and reinforcement learning [C]. IEEE ICIA International Conference. [ s.n.], 2011: 151⁃156. [13]赵其杰,服务机器人多通道人机交互感知反馈工作机 制及关键技术[D].上海:上海大学, 2005:18⁃36. ZHAO Qijie,Information perception and feedback mecha⁃ nism and key techniques of multi⁃modality human⁃robot in⁃ teraction for service robots [D]. Shanghai: Shanghai Uni⁃ versity, 2005:18⁃36. [14]江济良, 屠大维, 许烁, 等. 基于生物触角的仿生条件 反射机器人导航算法[ J]. 电子学报, 2013, 41 ( 3): 388⁃394. JIANG Jiliang, TU Dawei, XU Shuo. Mobile robot naviga⁃ tion algorithm of biomimetic conditioned reflex based on bi⁃ ological antennas[ J]. Acta Electronica Sinica, 2013, 41 (3): 388⁃394. 作者简介: 江济良,男,1985 年生,博士研究生, 主要研究方向为服务机器人、智能机器 人、机器视觉、人机智能。 屠大维,男,1965 年生,教授,博士生 导师,主要研究方向为机器视觉及伺服控 制、光机电一体化智能机械及仪器、人机 智能系统。 ·568· 智 能 系 统 学 报 第 9 卷