第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feb.2016 D0I:10.11992/is.201507067 网络出版地址:http:/www.cnki.net/kcms/detail/23.1538.TP.20160106.1555.004.html 书写机器人研究综述 曾华琳12,黄雨轩12,晁飞12,周昌乐12 (1.厦门大学智能科学与技术系,福建厦门361005:2.厦门大学福建省计算智能与机器人重点实验室,福建厦门361005) 摘要:通过分析书写机器人所具有的特征与实现意义,明确了机器人书写能力需要机器人能够自主控制机械手, 实现灵活和准确的动作,并且观察动态环境变化。论文从3个方面回顾和分析了当前书写机器人的研究。首先介绍 并分析了书写机器人硬件结构的知识,其次回顾了现有的控制机器人书写动作的相关算法,之后介绍了机器人书写 过程中汉字信息的获取方式。此外,讨论了书写机器人在控制方法和字体获取方法方面的优劣,并指出了书写机器 人可以利用智能控制技术与模仿学习方法来提高书写质量。最后展望了书写机器人的规模化应用领域。 关键词:机器人:书写机器人:机械手:动作控制:智能控制:模仿学习 中图分类号:TP242.6文献标志码:A文章编号:1673-4785(2016)01-0015-12 中文引用格式:曾华琳,黄雨轩,晁飞,等.书写机器人研究综述[J].智能系统学报,2016,11(1):15-26. 英文引用格式:ZENG Hualin,HUANG Yuxuan,CHAO Fei,.etal.Survey of robotic calligraphy research[J].CAAI Transactions on Intelligent Systems,2016,11(1):15-26. Survey of robotic calligraphy research ZENG Hualin'2,HUANG Yuxuan'2,CHAO Fei2,ZHOU Changle'2 (1.Cognitive Science Department,Xiamen University,Xiamen 361005,China;2.Fujian Province Key Lab of Machine Intelligence and Robotics,Xiamen University,Xiamen 361005,China) Abstract:By analyzing the features and significance of calligraphy robots,we reveal that robotic writing ability re- quires robots to have autonomous manual control to perform flexible and precise movements as well as to respond to dynamic environments.In this study,we review and analyze three aspects of current studies on calligraphy robots. First,we introduce and analyze existing robotic hardware.Next,we review related control algorithms for the motions of robotic writing.Finally,we introduce Chinese character font acquirement methods.Additionally,we discuss the advantages and disadvantages of current robotic control methods and font acquirement approaches.We point out that intelligent control technologies and imitation learning methods are the future development directions for improving robotic writing quality.In our conclusion,we predict the development of large-scale application fields and the tim- ing for the commercial realization of calligraphy robots. Keywords:robot;calligraphy robot;manipulators;motion control;intelligent control;imitation learning 智能机器人被期望拥有人的智慧,可以认知周 程序工作,只重复一种动作,以一种固定的模式工 围的环境和自身的状态,并进行分析和判断,然后采 作:第2代机器人,即工业机器人,由电脑控制,可根 取相应的策略完成任务山。它拥有一个由多种内、 据需要按照不同的程序完成不同的工作,解决工业 外部传感器组成的感觉系统,不仅可以感知内部关 生产和日常生活中的难题:第3代机器人,能够像人 节的运行速度、力的大小等参数,还可通过外部传感 一样具有灵活的思维,并能够主动分析和解决问题, 器,如视觉传感器、触觉传感器等,对外部环境信息 具有类人智能2。 进行感知、提取、处理并做出适当的决策,在结构或 具有机械手操作能力的机器人是最早出现的工 板结构化环境中自主完成某一项任务[2) 业机器人,它可代替人的繁重劳动,实现生产的机械 智能机器人,按照其发展进程,主要分成3类: 化和自动化,能在有害环境下进行操作以保护人类 第1代机器人,即示教再现性机器人,它按人编写的 安全,因而被广泛应用于工业生产、科研和生活的各 个领域。作为机械手最早的应用,工业机器人开创 收稿日期:2015-07-28.网络出版日期:2016-01-06. 基金项目:国家自然科学基金资助项目(61203336,61273338) 了机器人发展的新纪元。随着技术的革新,工业机 通信作者:晁飞.E-mail:fchao@xmu.cdu.cn 器人也越来越智能。智能机器人最主要的操作机
第 11 卷第 1 期 智 能 系 统 学 报 Vol.11 №.1 2016 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2016 DOI:10.11992 / tis.201507067 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20160106.1555.004.html 书写机器人研究综述 曾华琳1,2 ,黄雨轩1,2 ,晁飞1,2 ,周昌乐1,2 (1.厦门大学 智能科学与技术系,福建 厦门 361005;2.厦门大学 福建省计算智能与机器人重点实验室,福建 厦门 361005) 摘 要:通过分析书写机器人所具有的特征与实现意义,明确了机器人书写能力需要机器人能够自主控制机械手, 实现灵活和准确的动作,并且观察动态环境变化。 论文从 3 个方面回顾和分析了当前书写机器人的研究。 首先介绍 并分析了书写机器人硬件结构的知识,其次回顾了现有的控制机器人书写动作的相关算法,之后介绍了机器人书写 过程中汉字信息的获取方式。 此外,讨论了书写机器人在控制方法和字体获取方法方面的优劣,并指出了书写机器 人可以利用智能控制技术与模仿学习方法来提高书写质量。 最后展望了书写机器人的规模化应用领域。 关键词:机器人;书写机器人;机械手;动作控制;智能控制;模仿学习 中图分类号:TP242.6 文献标志码:A 文章编号:1673⁃4785(2016)01⁃0015⁃12 中文引用格式:曾华琳,黄雨轩,晁飞,等.书写机器人研究综述[J]. 智能系统学报, 2016, 11(1): 15⁃26. 英文引用格式:ZENG Hualin, HUANG Yuxuan, CHAO Fei, et al. Survey of robotic calligraphy research[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 15⁃26. Survey of robotic calligraphy research ZENG Hualin 1,2 , HUANG Yuxuan 1,2 , CHAO Fei 1,2 , ZHOU Changle 1,2 (1. Cognitive Science Department, Xiamen University, Xiamen 361005, China; 2. Fujian Province Key Lab of Machine Intelligence and Robotics, Xiamen University, Xiamen 361005, China) Abstract:By analyzing the features and significance of calligraphy robots, we reveal that robotic writing ability re⁃ quires robots to have autonomous manual control to perform flexible and precise movements as well as to respond to dynamic environments. In this study, we review and analyze three aspects of current studies on calligraphy robots. First, we introduce and analyze existing robotic hardware. Next, we review related control algorithms for the motions of robotic writing. Finally, we introduce Chinese character font acquirement methods. Additionally, we discuss the advantages and disadvantages of current robotic control methods and font acquirement approaches. We point out that intelligent control technologies and imitation learning methods are the future development directions for improving robotic writing quality. In our conclusion, we predict the development of large⁃scale application fields and the tim⁃ ing for the commercial realization of calligraphy robots. Keywords:robot; calligraphy robot; manipulators; motion control; intelligent control; imitation learning 收稿日期:2015⁃07⁃28. 网络出版日期:2016⁃01⁃06. 基金项目:国家自然科学基金资助项目(61203336, 61273338). 通信作者:晁飞. E⁃mail:fchao@ xmu.edu.cn. 智能机器人被期望拥有人的智慧,可以认知周 围的环境和自身的状态,并进行分析和判断,然后采 取相应的策略完成任务[1] 。 它拥有一个由多种内、 外部传感器组成的感觉系统,不仅可以感知内部关 节的运行速度、力的大小等参数,还可通过外部传感 器,如视觉传感器、触觉传感器等,对外部环境信息 进行感知、提取、处理并做出适当的决策,在结构或 板结构化环境中自主完成某一项任务[2⁃3] 。 智能机器人,按照其发展进程,主要分成 3 类: 第 1 代机器人,即示教再现性机器人,它按人编写的 程序工作,只重复一种动作,以一种固定的模式工 作;第 2 代机器人,即工业机器人,由电脑控制,可根 据需要按照不同的程序完成不同的工作,解决工业 生产和日常生活中的难题;第 3 代机器人,能够像人 一样具有灵活的思维,并能够主动分析和解决问题, 具有类人智能[2] 。 具有机械手操作能力的机器人是最早出现的工 业机器人,它可代替人的繁重劳动,实现生产的机械 化和自动化,能在有害环境下进行操作以保护人类 安全,因而被广泛应用于工业生产、科研和生活的各 个领域。 作为机械手最早的应用,工业机器人开创 了机器人发展的新纪元。 随着技术的革新,工业机 器人也越来越智能。 智能机器人最主要的操作机
·16 智能系统 学 报 第11卷 构一机械手臂,具有极强的功能和很高的通用性,它 令来模拟人类手臂的动作,完成毛笔字书写动作。 可以代替或者帮助人类在各种场合下灵巧地完成各 般在进行机器人系统设计的时候,都会考虑机器 类复杂的作业和工作,在各个领域的应用都十分广 人的工作要求,以便机器人的硬件构造可以稳定、准 泛。目前,单一对机械手的研究和应用还无法完全 确、高效地完成任务。机器人构造中最基本的是关 满足人们对智能机器人的要求,于是人们趋向于研 节的数量、外形大小、负载能力和末端执行器所需要 究具有各种感知能力的机械手,与此同时,通过添加 的运动条件。 视觉模块的机器人手眼协调研究也是主流的研究方 毛笔字书写机器人的机械臂目前一般使用电动 向之一【 伺服电机驱动。机械臂是目前在机器人领域中应用 与工业机器人不同的是,智能机器人的研究目 最广泛的装置,当然其形态也多种多样,不过它们都 标是从工程上模拟人或者生物体的复杂动作以及相 是通过接收指令控制电机运动,从而使机械臂能够 应的智能行为,得到综合性的机器实现。此外,智能 在空间内精确地定位和工作。运动结构的构造和机 机器人也被看作是工业机器人从无智能发展到有智 器人的总体大小是由其所要完成的任务的需求、工 能、从低智能水平发展到高度智能水平的产物。由 作空间以及本身的再适应能力决定的。同时,这些 于其更接近于人们早期对机器人的理想要求,因此 也决定了进行装配所必需的完全的定位能力、进行 制造出具有人类特征的智能机器人已经成为智能机 材料处理所必需的可重复能力以及进行精确的、实 器人制造的终极目标。 时的、基于传感装置的运动所必需的高分辨率和精 机器人书写作为智能机器人的一项重要应用, 确度[、 目前得到了较多的关注。书写动作主要是靠机械手 本文根据现有毛笔字书写机器人的关节性质将 臂和其他传感装置的协同配合来完成。机器人手 其分类为:直线关节型机器人、曲关节型机器人和平 臂,主要指的是多关节机械手及多关节机械手指机 面关节装配型机器人。 器控制系统,它能模仿人手臂的某些动作功能,是一 1.1直线关节型机器人 种按固定程序抓取、搬运物件或操作工具的自动操 直线关节型机器人是一种成本廉价、结构简单 作装置。正如人类的手是人获得认知的重要渠道, 的机器人。这类机器人是以X、Y、Z直角坐标系统 是人完成灵活操作最重要的器官,机械手的动作与 为基本数学模型,并以伺服电机、步进电机为驱动的 操作则代表了机器人可以参与到人类社会生存和工 单轴机械臂为基本工作单元的机器人系统,能够很 作的一类基本技能,也是智能机器人领域最重要的 容易地确定平面坐标,从而构建出汉字笔画进行书 组成部分和研究课题之一【4)。 写。坐标机器人采用运动控制系统实现对其驱动及 汉字书写是一种很复杂很精细的工作,它对机 编程控制,直线、曲线等运动轨迹的生成为多点插补 器人“手”在复杂环境下的灵活性、稳定性以及协调 方式,操作及编程方式为引导示教编程方式或坐标 性等控制要求十分严格。书写作为人类一项特有的 定位方式。直角坐标型机器人主要通过各坐标参数 技能,不仅需要人类的手能灵活地抓取所要使用的 的控制来实现机械手在平面内轨迹的生成,相当于 工具,而且需要通过感官观察和感受,以此协调手的 一个解运动学正解的过程。 各部分动作和所书写的内容,以及时调整书写的动 直线关节型机器人一般有3~5个自由度,这种 作和力度,还能将自己的情感表达出来。因此,机器 机器人的机构设计能够很好地满足汉字的书写。汉 人书写可以让智能机器人应用手眼协调技术来参与 字的书写是一个平面内笔画的组合过程,直线关节 到人类社会的认识和实践中来。并且,实现机器 型机器人能够很好地表现汉字各个笔画的位置,并 人书写方面所应用的方法和技术,可以满足人们对 且能够利用最简单的坐标信息完成书写。同时在垂 智能机器人“手”期望所具有的各种操作要求,不仅 直方向,直线关节型机器人能够控制毛笔下笔的轻 能够实现智能机器人划时代的突破,所使用的硬件 重,这样对书写大量汉字具有很好的效果。目前很 结构设计、控制算法、参数模型等技术理论,也可应 多研究者都以这种机械手为基础来构建机器人写毛 用于人类社会生产生活中的各个领域,其标志性的 笔字的平台。 意义深远且重大。因此,本文对具有书写能力的机 Yongkui M6使用直角坐标型机器人设计了一 器人的硬件系统、控制方法、学习能力3个方面进行 个3自由度的机器人书写平台,该试验平台通过使 分析和总结。 用PWM信号控制直角坐标机器人每个轴上伺服电 书写机器人的硬件构造 机的转矩、速度和角度来完成机械手的书写动作。 这个毛笔字书写机器人平台有3个自由度的伺服系 目前大部分的毛笔字书写机器人的构造,都是 统,分别通过控制X、Y、Z三个轴的运动来控制笔画 采用末端执笔的机械臂,通过接收计算机的控制指 在平面上的定位,能够基本满足毛笔字书写的控制
构—机械手臂,具有极强的功能和很高的通用性,它 可以代替或者帮助人类在各种场合下灵巧地完成各 类复杂的作业和工作,在各个领域的应用都十分广 泛。 目前,单一对机械手的研究和应用还无法完全 满足人们对智能机器人的要求,于是人们趋向于研 究具有各种感知能力的机械手,与此同时,通过添加 视觉模块的机器人手眼协调研究也是主流的研究方 向之一[3] 。 与工业机器人不同的是,智能机器人的研究目 标是从工程上模拟人或者生物体的复杂动作以及相 应的智能行为,得到综合性的机器实现。 此外,智能 机器人也被看作是工业机器人从无智能发展到有智 能、从低智能水平发展到高度智能水平的产物。 由 于其更接近于人们早期对机器人的理想要求,因此 制造出具有人类特征的智能机器人已经成为智能机 器人制造的终极目标。 机器人书写作为智能机器人的一项重要应用, 目前得到了较多的关注。 书写动作主要是靠机械手 臂和其他传感装置的协同配合来完成。 机器人手 臂,主要指的是多关节机械手及多关节机械手指机 器控制系统,它能模仿人手臂的某些动作功能,是一 种按固定程序抓取、搬运物件或操作工具的自动操 作装置。 正如人类的手是人获得认知的重要渠道, 是人完成灵活操作最重要的器官,机械手的动作与 操作则代表了机器人可以参与到人类社会生存和工 作的一类基本技能,也是智能机器人领域最重要的 组成部分和研究课题之一[4] 。 汉字书写是一种很复杂很精细的工作,它对机 器人“手”在复杂环境下的灵活性、稳定性以及协调 性等控制要求十分严格。 书写作为人类一项特有的 技能,不仅需要人类的手能灵活地抓取所要使用的 工具,而且需要通过感官观察和感受,以此协调手的 各部分动作和所书写的内容,以及时调整书写的动 作和力度,还能将自己的情感表达出来。 因此,机器 人书写可以让智能机器人应用手眼协调技术来参与 到人类社会的认识和实践中来[4] 。 并且,实现机器 人书写方面所应用的方法和技术,可以满足人们对 智能机器人“手”期望所具有的各种操作要求,不仅 能够实现智能机器人划时代的突破,所使用的硬件 结构设计、控制算法、参数模型等技术理论,也可应 用于人类社会生产生活中的各个领域,其标志性的 意义深远且重大。 因此,本文对具有书写能力的机 器人的硬件系统、控制方法、学习能力 3 个方面进行 分析和总结。 1 书写机器人的硬件构造 目前大部分的毛笔字书写机器人的构造,都是 采用末端执笔的机械臂,通过接收计算机的控制指 令来模拟人类手臂的动作,完成毛笔字书写动作。 一般在进行机器人系统设计的时候,都会考虑机器 人的工作要求,以便机器人的硬件构造可以稳定、准 确、高效地完成任务。 机器人构造中最基本的是关 节的数量、外形大小、负载能力和末端执行器所需要 的运动条件。 毛笔字书写机器人的机械臂目前一般使用电动 伺服电机驱动。 机械臂是目前在机器人领域中应用 最广泛的装置,当然其形态也多种多样,不过它们都 是通过接收指令控制电机运动,从而使机械臂能够 在空间内精确地定位和工作。 运动结构的构造和机 器人的总体大小是由其所要完成的任务的需求、工 作空间以及本身的再适应能力决定的。 同时,这些 也决定了进行装配所必需的完全的定位能力、进行 材料处理所必需的可重复能力以及进行精确的、实 时的、基于传感装置的运动所必需的高分辨率和精 确度[5] 。 本文根据现有毛笔字书写机器人的关节性质将 其分类为:直线关节型机器人、曲关节型机器人和平 面关节装配型机器人。 1.1 直线关节型机器人 直线关节型机器人是一种成本廉价、结构简单 的机器人。 这类机器人是以 X、Y、Z 直角坐标系统 为基本数学模型,并以伺服电机、步进电机为驱动的 单轴机械臂为基本工作单元的机器人系统,能够很 容易地确定平面坐标,从而构建出汉字笔画进行书 写。 坐标机器人采用运动控制系统实现对其驱动及 编程控制,直线、曲线等运动轨迹的生成为多点插补 方式,操作及编程方式为引导示教编程方式或坐标 定位方式。 直角坐标型机器人主要通过各坐标参数 的控制来实现机械手在平面内轨迹的生成,相当于 一个解运动学正解的过程。 直线关节型机器人一般有 3 ~ 5 个自由度,这种 机器人的机构设计能够很好地满足汉字的书写。 汉 字的书写是一个平面内笔画的组合过程,直线关节 型机器人能够很好地表现汉字各个笔画的位置,并 且能够利用最简单的坐标信息完成书写。 同时在垂 直方向,直线关节型机器人能够控制毛笔下笔的轻 重,这样对书写大量汉字具有很好的效果。 目前很 多研究者都以这种机械手为基础来构建机器人写毛 笔字的平台。 Yongkui M [6]使用直角坐标型机器人设计了一 个 3 自由度的机器人书写平台,该试验平台通过使 用 PWM 信号控制直角坐标机器人每个轴上伺服电 机的转矩、速度和角度来完成机械手的书写动作。 这个毛笔字书写机器人平台有 3 个自由度的伺服系 统,分别通过控制 X、Y、Z 三个轴的运动来控制笔画 在平面上的定位,能够基本满足毛笔字书写的控制 ·16· 智 能 系 统 学 报 第 11 卷
第1期 曾华琳,等:书写机器人研究综述 ·17 要求,但是针对毛笔字的书写效果还可以提升。KA 较忠实地还原TTF(true type font)字型。张传剑2] WAIK]设计了具有5个自由度的机器人书写平 使用AutoCAD和Visual Basic,设计实现了MOTO- 台,该平台在现有直线关节型机器人X、Y、Z坐标的 MAN-UP6机器人写字功能,并能够在水平面内实现 基础上,添加了Z旋转和倾斜,可以支持机械手在5 任意角度的文字书写。薛环振)在他的硕土学位 个自由度上的变化,能够更加灵活稳定地进行书写。 论文里,结合计算机书法[]的相关技术,以工业机 同时,它添加了摄像头,利用计算机视觉的方法对书 器人MOTOMAN.-UP6为平台设计了夹持毛笔的方 写笔画进行矫正,使毛笔字书写机器人具有视觉功 法,控制机械臂完成了书写动作:还考虑了回笔并提 能,方便该平台通过获取、学习、执行书写或自行设 出了可行的执行方法,获得了更好的书写结果。 计,来进行汉字的书写。 1.3平面关节型机器人 与之类似的还有JOSH H.M.Lam),他以IRAS 平面关节型机器人,又称为装配型机器人,这种 (intelligent robotic art system)为平台,对毛笔的笔尖 形态的机器人的特点有其独到之处。这种运动形态 建立一个几何模型,通过实际书写过程中的实验数 的机器人模仿了人类的手臂,由立柱和大臂、小臂组 据来获取毛笔字迹的几何模型,然后添加8个顶点 成,可在几个方向上进行转动5] 的笔画分段数据到该模型中,并使用一个末端执笔 平面关节型SCARA机器人是由日本山梨大学 的五自由度机械手系统来产生毛笔轨迹。日本的桂 牧野洋在1979年发明的[16,SCARA(selective com- 诚一郎(SEHICHIRO K)研究团队[),推出的一款书 pliance assembly robot arm)具有选择顺应性的装配 法机器人,也是利用直角坐标系机器人在平面轨迹 机器人手臂,在水平方向上具有顺应性,在垂直方向 上准确、方便的定位原理,对直角坐标系机器人进行 上则具有很大的刚性]。SCARA机器人有4个自 改造,成功地模仿了书法家写的字。 由度,有3个轴线相互平行的水平转动关节,可在平 1.2曲关节型机器人 面内进行定向和定位:1个垂直滑动关节,可在垂直 曲关节型机器人,也称为关节手臂机器人或关 于平面的方向运动16-。可见SCARA机器人是一 节机械手臂,是比较常见的机器人形态之一,在诸多 种介于直线关节型机器人和曲关节型机器人之间的 工业领域的机械自动化作业中得到了广泛的应用。 一种独特类型。 曲关节型机器人和人的手臂关节比较接近,在实际 以平面关节型机器人为平台的书法机器人相对 应用过程中可以更好地完成各种工作,在仿生学上 较少。如景兴碧1]采用一种工业型平面关节装配 也有重要应用。通常,人们控制这种形态的机械手 型机器人(SCARA)来进行软笔书写。该机器人的 所完成的一系列动作,总是以笛卡尔坐标空间中的 构型与人的手臂及关节比较接近,具有很高的可延 状态向量来描述的。曲关节型机器人所建立的坐标 展性,该书写平台本体由4轴驱动,使用了末端执笔 系可以是都不同的,机械手在空间的位置和姿态可 的书写机构。曲波9在他的论文中提出了一种以 以用一组关节变量来描述。这种机器人的书写控制 “AdeptOne”平面机械手臂为平台,能够模仿人类书 方法一般是:通过关节空间得到末端笛卡尔空间 写能力的毛笔机器人,其基础结构同样采用了末端 (正运动学)或者是从末端笛卡尔空间得到关节空 执笔的机械臂,通过接收主控PC机由汉字信息提 间(逆运动学)。机器人书写动作的控制主要是通 取的控制指令,来模拟人类手臂的动作完成书写。 过在平面的轨迹来计算各个关节的参数,相当于一 除了这些常见的毛笔字书写机器人类型,还有 个解运动学逆解的过程。 很多其他类型的机器人设计。例如多电机的传动协 曲关节型机器人的应用比较广泛,虽然这种类 作,机器人写字灵巧手系统的研究[20]。Byoung-.Ho 型的机器人在机器人书写上的操作比直线型机器人 Kim提出了一种具有软技巧的双手指模型[2]来进 更难、复杂度更高,但是这类机器人具有很好的可扩 行机器人书写,该模型有两个自由度,两个手指各有 展性和可移植性,能够更加方便地安装在更为一般 一个旋转节点和一个柱状节点,通过远程计算机解 的场所,应用价值较高。近年来,国内外一些研究者 动力学方程对机械手模型进行操作。 纷纷使用这类机器人来进行研究工作。 综上所述可知,直线关节型机器人虽然可以很 在曲关节型机器人的使用这一方面,很多研究 好地完成书写任务,但是没有很好的扩展性,并不能 者使用了6自由度的工业机器人。例如何薇]应 很好地体现出人类书法的一些特性。曲关节型机器 用一个6自由度DENS0-VP6242G工业型机器人, 人具有类人的关节和控制策略,除了能够完成书写 并添加了机器视觉和计算机作为实验平台,提出了 动作之外,也可以将其拓展到其他类似的工作。而 一种基于机器视觉的机器人写字方法。宫晓博) 其他类型的机器人也提供了不同方面的借鉴。随着 以ABB-IRB140型6自由度工业机器人为平台,使 计算机和科技的发展,可以通过引入各种类型的传 用插补算法在给定平面与曲面上完成汉字的绘制, 感器(例如图像传感器、声纳传感器、触觉传感器
要求,但是针对毛笔字的书写效果还可以提升。 KA WAI K [7] 设计了具有 5 个自由度的机器人书写平 台,该平台在现有直线关节型机器人 X、Y、Z 坐标的 基础上,添加了 Z 旋转和倾斜,可以支持机械手在 5 个自由度上的变化,能够更加灵活稳定地进行书写。 同时,它添加了摄像头,利用计算机视觉的方法对书 写笔画进行矫正,使毛笔字书写机器人具有视觉功 能,方便该平台通过获取、学习、执行书写或自行设 计,来进行汉字的书写。 与之类似的还有 JOSH H.M. Lam [8] ,他以 IRAS (intelligent robotic art system)为平台,对毛笔的笔尖 建立一个几何模型,通过实际书写过程中的实验数 据来获取毛笔字迹的几何模型,然后添加 8 个顶点 的笔画分段数据到该模型中,并使用一个末端执笔 的五自由度机械手系统来产生毛笔轨迹。 日本的桂 诚一郎(SEIICHIRO K)研究团队[9] ,推出的一款书 法机器人,也是利用直角坐标系机器人在平面轨迹 上准确、方便的定位原理,对直角坐标系机器人进行 改造,成功地模仿了书法家写的字。 1.2 曲关节型机器人 曲关节型机器人,也称为关节手臂机器人或关 节机械手臂,是比较常见的机器人形态之一,在诸多 工业领域的机械自动化作业中得到了广泛的应用。 曲关节型机器人和人的手臂关节比较接近,在实际 应用过程中可以更好地完成各种工作,在仿生学上 也有重要应用。 通常,人们控制这种形态的机械手 所完成的一系列动作,总是以笛卡尔坐标空间中的 状态向量来描述的。 曲关节型机器人所建立的坐标 系可以是都不同的,机械手在空间的位置和姿态可 以用一组关节变量来描述。 这种机器人的书写控制 方法一般是:通过关节空间得到末端笛卡尔空间 (正运动学)或者是从末端笛卡尔空间得到关节空 间(逆运动学)。 机器人书写动作的控制主要是通 过在平面的轨迹来计算各个关节的参数,相当于一 个解运动学逆解的过程。 曲关节型机器人的应用比较广泛,虽然这种类 型的机器人在机器人书写上的操作比直线型机器人 更难、复杂度更高,但是这类机器人具有很好的可扩 展性和可移植性,能够更加方便地安装在更为一般 的场所,应用价值较高。 近年来,国内外一些研究者 纷纷使用这类机器人来进行研究工作。 在曲关节型机器人的使用这一方面,很多研究 者使用了 6 自由度的工业机器人。 例如何薇[10] 应 用一个 6 自由度 DENSO⁃VP6242G 工业型机器人, 并添加了机器视觉和计算机 作为实验平台,提出了 一种基于机器视觉的机器人写字方法。 宫晓博[11] 以 ABB⁃IRB140 型 6 自由度工业机器人为平台,使 用插补算法在给定平面与曲面上完成汉字的绘制, 较忠实地还原 TTF(true type font)字型。 张传剑[12] 使用 AutoCAD 和 Visual Basic,设计实现了 MOTO⁃ MAN⁃UP6 机器人写字功能,并能够在水平面内实现 任意角度的文字书写。 薛环振[13] 在他的硕士学位 论文里,结合计算机书法[14] 的相关技术,以工业机 器人 MOTOMAN⁃UP6 为平台设计了夹持毛笔的方 法,控制机械臂完成了书写动作;还考虑了回笔并提 出了可行的执行方法,获得了更好的书写结果。 1.3 平面关节型机器人 平面关节型机器人,又称为装配型机器人,这种 形态的机器人的特点有其独到之处。 这种运动形态 的机器人模仿了人类的手臂,由立柱和大臂、小臂组 成,可在几个方向上进行转动[15] 。 平面关节型 SCARA 机器人是由日本山梨大学 牧野洋在 1979 年发明的[16] ,SCARA( selective com⁃ pliance assembly robot arm)具有选择顺应性的装配 机器人手臂,在水平方向上具有顺应性,在垂直方向 上则具有很大的刚性[17] 。 SCARA 机器人有 4 个自 由度,有 3 个轴线相互平行的水平转动关节,可在平 面内进行定向和定位;1 个垂直滑动关节,可在垂直 于平面的方向运动[16⁃17] 。 可见 SCARA 机器人是一 种介于直线关节型机器人和曲关节型机器人之间的 一种独特类型。 以平面关节型机器人为平台的书法机器人相对 较少。 如景兴碧[18] 采用一种工业型平面关节装配 型机器人( SCARA)来进行软笔书写。 该机器人的 构型与人的手臂及关节比较接近,具有很高的可延 展性,该书写平台本体由 4 轴驱动,使用了末端执笔 的书写机构。 曲波[19] 在他的论文中提出了一种以 “AdeptOne”平面机械手臂为平台,能够模仿人类书 写能力的毛笔机器人,其基础结构同样采用了末端 执笔的机械臂,通过接收主控 PC 机由汉字信息提 取的控制指令,来模拟人类手臂的动作完成书写。 除了这些常见的毛笔字书写机器人类型,还有 很多其他类型的机器人设计。 例如多电机的传动协 作、机器人写字灵巧手系统的研究[20] 。 Byoung⁃Ho Kim 提出了一种具有软技巧的双手指模型[21] 来进 行机器人书写,该模型有两个自由度,两个手指各有 一个旋转节点和一个柱状节点,通过远程计算机解 动力学方程对机械手模型进行操作。 综上所述可知,直线关节型机器人虽然可以很 好地完成书写任务,但是没有很好的扩展性,并不能 很好地体现出人类书法的一些特性。 曲关节型机器 人具有类人的关节和控制策略,除了能够完成书写 动作之外,也可以将其拓展到其他类似的工作。 而 其他类型的机器人也提供了不同方面的借鉴。 随着 计算机和科技的发展,可以通过引入各种类型的传 感器(例如图像传感器、声纳传感器、触觉传感器 第 1 期 曾华琳,等:书写机器人研究综述 ·17·
·18 智能系统学报 第11卷 等)作为反馈,很好地提高机器人系统书写的质量, 知的运动轨迹条件下运动,反过来求解对应机械臂 同时也会对机器人控制策略和学习策略有很大的 关节间的角度以达到控制的目的。本节根据机器人 帮助。 控制中使用的理论不同,将从运动学和动力学两方 2书写机器人的控制方法 面进行介绍。 采用运动学的控制方法,有相当一部分研究者 毛笔字书写机器人的控制方式可分为以下3 是通过解运动学方程对机械手臂进行控制的。曲 类:使用坐标计算的控制方法:使用机器人运动学及 波使用了具有类似人类关节的机械臂来模拟人 动力学的控制方法和智能控制方法。在机器人手臂 类手臂动作,进而模仿人类的书写能力,通过末端执 运动控制问题中,主要的挑战在于动力学和不确定 笔的机械臂,将从汉字中提取出来的信息通过运动 性带来的复杂性。动力学的挑战是由机器人机械臂 学方程来控制机械臂的动作。金英连2采用的6 中的非线性和耦合引起的,而不确定性则可能是动 自由度转动关节机器人机构,是基于坐标变换建立 力学参数的不精确性和关节的柔性、驱动动力学、摩 运动学模型,使用三级递阶控制进行书写。满翠 擦、传感噪声等的原因所引起的。 华[2]对多自由度机器人手臂的机构进行设计,主要 2.1使用坐标计算轨迹控制绘制汉字 通过Denavit-.Hartenberg法和基于旋量理论对动作 这种类型的书写机器人按照预先设定的轨迹 笔画求运动学正解、运动学逆解(得到封闭解)、基 行为、顺序和速度重复进行动作,完成书写。景兴碧 于旋量理论的雅可比矩阵来控制机械臂的动作。 的软笔书法机器人控制系统[18]根据书法机器人的 另外也有通过人类动作运动学理论,来控制运 系统要求,编制了大量基于VB、VC、PEWIN和EX 动的方法。Rejean Plamondon[2]提出了一个适用于 CEL的应用软件。研究者首先对汉字的结构进行分 书写笔迹产生的嵌套模型,通过渐进的细节分析笔 析分类,对汉字中常用的部首通过编程构建出若干 画的轨迹和速度,解释了生成手写笔画的嵌套模型 子程序,然后针对某一汉字调用函数并进行参数调 是如何连贯和一致的,并指出书写笔迹有“指向”和 整。这种书写方法比较简单,通过坐标计算和计算 “碰触”两个深度。 机编程就能够让机器人实现毛笔字书写,但是书写 然而在一些情况下,逆向运动学无法求出解析 效果不佳,当书写大量汉字时,会使程序冗杂。张传 解,并且可能降低运动轨迹的精确度[2。于是有一 剑2]利用数学几何算法进行运动学分析,基于A- 部分研究者基于动力学的相关理论,研究机器人的 toCAD和VB设计了MOTOMAN-UP6机器人写字功 控制方法。 能,使系统能够在水平面内任意角度实现文字的书 王党校对汉字书写过程中的力反馈进行了模 写。宫晓博)针对工作面为平面或球面的不同情 拟,并评价了汉字书写的逼真度切。Sumg-Kum 况,分别使用插补算法和结合三维坐标系旋转变换 Kim[28]对机器人书写中的书写笔夹持问题进行了研 的姿态插补方法,在给定平面以及给定曲面上以较 究,提出了基于反作用力内部接触假设(reactional 好的效果完成了汉字的绘制。 internal contact hypothesis)的多触点操控框架,并解 国外的研究者们也在不同的机器人平台上实现 决了优化配置搜索以及夹持力度的计算问题。由于 了机械手臂的汉字书写。Yongkui Man[o设计的一 人机操作的延时,当人手刚度增加时,基于定位控制 种书法机器人主要采用插值算法和坐标变换进行书 的机器人会不稳定,于是Toru Tsumugiwal)提出了 写,该书法机器人有3个自由度的伺服系统,使用开 一种可变阻抗的控制方法,实时按比例地调整人臂 环伺服系统来解决毛笔书写过程中出现的小半径旋 刚度的动力学估算,使人机协同操作系统更加稳定。 转和笔迹控制中的问题,通过控制伺服电机的转矩、 Veljko Potkonjak通过总结以往书写中出现的问 速度和角度来完成机械手的书写动作。Ka Wai 题[30],基于分布定位的概念提出了一种虚拟疲劳 K)设计了具有5个自由度的机器人书写平台,该 (virtual fatigue,VF)[3]的方法,能够让机器人根据 平台在现有直线关节型机器人X、Y、Z坐标的基础 当前的疲劳程度重新自我配置,并采取合适的姿势 上,添加了Z旋转和倾斜,可以支持机械手在5个 以此来准确控制书写的动作。 自由度上的变化,能够更加灵活稳定地进行书写。 2.3使用智能控制书写汉字 Marius-Florin Crainic以RV-2AJ机械臂为平台,通过 以上所述的机器人书写动作控制方法,大部分 直角三角形的三点校准,能够在平面或斜面上完成 都是纯工程学上的方法[],智能机器人的发展和应 方便安全的书写,并重现唯一的字体或字形】。 用更需要关注,即机器人具有可以发现自身问题,并 2.2使用机器人动力学控制绘制汉字 且自主决定自身行为的能力。这一节从反馈控制和 这种类型的书写机器人通过控制机械手臂在已 学习算法控制两方面来介绍不同的智能控制模型
等)作为反馈,很好地提高机器人系统书写的质量, 同时也会对机器人控制策略和学习策略有很大的 帮助。 2 书写机器人的控制方法 毛笔字书写机器人的控制方式可分为以下 3 类:使用坐标计算的控制方法;使用机器人运动学及 动力学的控制方法和智能控制方法。 在机器人手臂 运动控制问题中,主要的挑战在于动力学和不确定 性带来的复杂性。 动力学的挑战是由机器人机械臂 中的非线性和耦合引起的,而不确定性则可能是动 力学参数的不精确性和关节的柔性、驱动动力学、摩 擦、传感噪声等的原因所引起的。 2.1 使用坐标计算轨迹控制绘制汉字 这种类型的书写机器人按照预先设定的轨迹、 行为、顺序和速度重复进行动作,完成书写。 景兴碧 的软笔书法机器人控制系统[18] 根据书法机器人的 系统要求,编制了大量基于 VB、VC、PEWIN 和 EX⁃ CEL 的应用软件。 研究者首先对汉字的结构进行分 析分类,对汉字中常用的部首通过编程构建出若干 子程序,然后针对某一汉字调用函数并进行参数调 整。 这种书写方法比较简单,通过坐标计算和计算 机编程就能够让机器人实现毛笔字书写,但是书写 效果不佳,当书写大量汉字时,会使程序冗杂。 张传 剑[12]利用数学几何算法进行运动学分析,基于 Au⁃ toCAD 和 VB 设计了 MOTOMAN⁃UP6 机器人写字功 能,使系统能够在水平面内任意角度实现文字的书 写。 宫晓博[11]针对工作面为平面或球面的不同情 况,分别使用插补算法和结合三维坐标系旋转变换 的姿态插补方法,在给定平面以及给定曲面上以较 好的效果完成了汉字的绘制。 国外的研究者们也在不同的机器人平台上实现 了机械手臂的汉字书写。 Yongkui Man [6] 设计的一 种书法机器人主要采用插值算法和坐标变换进行书 写,该书法机器人有 3 个自由度的伺服系统,使用开 环伺服系统来解决毛笔书写过程中出现的小半径旋 转和笔迹控制中的问题,通过控制伺服电机的转矩、 速度和角度来完成机械手的书写动作。 Ka Wai K [7]设计了具有 5 个自由度的机器人书写平台,该 平台在现有直线关节型机器人 X、Y、Z 坐标的基础 上,添加了 Z 旋转和倾斜,可以支持机械手在 5 个 自由度上的变化,能够更加灵活稳定地进行书写。 Marius⁃Florin Crainic 以 RV⁃2AJ 机械臂为平台,通过 直角三角形的三点校准,能够在平面或斜面上完成 方便安全的书写,并重现唯一的字体或字形[22] 。 2.2 使用机器人动力学控制绘制汉字 这种类型的书写机器人通过控制机械手臂在已 知的运动轨迹条件下运动,反过来求解对应机械臂 关节间的角度以达到控制的目的。 本节根据机器人 控制中使用的理论不同,将从运动学和动力学两方 面进行介绍。 采用运动学的控制方法,有相当一部分研究者 是通过解运动学方程对机械手臂进行控制的。 曲 波[19]使用了具有类似人类关节的机械臂来模拟人 类手臂动作,进而模仿人类的书写能力,通过末端执 笔的机械臂,将从汉字中提取出来的信息通过运动 学方程来控制机械臂的动作。 金英连[23] 采用的 6 自由度转动关节机器人机构,是基于坐标变换建立 运动学模型,使用三级递阶控制进行书写。 满翠 华[24]对多自由度机器人手臂的机构进行设计,主要 通过 Denavit⁃Hartenberg 法和基于旋量理论对动作 笔画求运动学正解、运动学逆解(得到封闭解)、基 于旋量理论的雅可比矩阵来控制机械臂的动作。 另外也有通过人类动作运动学理论,来控制运 动的方法。 Rejean Plamondon [25]提出了一个适用于 书写笔迹产生的嵌套模型,通过渐进的细节分析笔 画的轨迹和速度,解释了生成手写笔画的嵌套模型 是如何连贯和一致的,并指出书写笔迹有“指向”和 “碰触”两个深度。 然而在一些情况下,逆向运动学无法求出解析 解,并且可能降低运动轨迹的精确度[26] 。 于是有一 部分研究者基于动力学的相关理论,研究机器人的 控制方法。 王党校对汉字书写过程中的力反馈进行了模 拟,并评 价 了 汉 字 书 写 的 逼 真 度[27] 。 Sung⁃Kyun Kim [28]对机器人书写中的书写笔夹持问题进行了研 究,提出了基于反作用力内部接触假设( reactional internal contact hypothesis)的多触点操控框架,并解 决了优化配置搜索以及夹持力度的计算问题。 由于 人机操作的延时,当人手刚度增加时,基于定位控制 的机器人会不稳定,于是 Toru Tsumugiwa [29] 提出了 一种可变阻抗的控制方法,实时按比例地调整人臂 刚度的动力学估算,使人机协同操作系统更加稳定。 Veljko Potkonjak 通过总结 以 往 书 写 中 出 现 的 问 题[30] ,基于分布定位的概念提出了一种虚拟疲劳 (virtual fatigue,VF) [31] 的方法,能够让机器人根据 当前的疲劳程度重新自我配置,并采取合适的姿势 以此来准确控制书写的动作。 2.3 使用智能控制书写汉字 以上所述的机器人书写动作控制方法,大部分 都是纯工程学上的方法[32] ,智能机器人的发展和应 用更需要关注,即机器人具有可以发现自身问题,并 且自主决定自身行为的能力。 这一节从反馈控制和 学习算法控制两方面来介绍不同的智能控制模型。 ·18· 智 能 系 统 学 报 第 11 卷
第1期 曾华琳,等:书写机器人研究综述 ·19 前一类书写机器人通过反馈控制来自动适应外部环 重结构和美观,书写动作也更为复杂。目前的毛笔 境变化,从而修正书写的内容,将外部干扰产生的影 字书写机器人大部分书写的是楷书,少部分是隶书 响降到最小[3)。后者采用了隐马尔可夫模型、神经 或行书。机器人书写中汉字信息获取的方式分为计 网络、强化学习等方法来控制机器人对人类行为的 算机字库再现和人机协作、模仿学习。 模仿学习。 3.1计算机字库信息的再现书写 在反馈控制的研究中,主要使用各种传感器来 机器人对字库中汉字的再现书写,主要是通过 感知周围环境,以此适应环境的变化。曲波使用了 计算机将汉字转化成具体的点坐标,然后通过控制 能够模仿人类书写能力的毛笔机器人【),其基础结 机械臂的运动轨迹,对汉字进行书写。这种汉字的 构是采用末端执笔的机械臂,引入了图像、声呐、触 实现方式比较简单,效果表现和字库中的汉字一致, 觉等多个传感器构成闭环控制系统,通过接收主控 主要使用直线关节型机器人,一部分使用曲关节型 PC机提取汉字信息的控制指令,来模拟人类手臂动 机器人。这种方法是在工程上实现汉字图形的再 作进行书写动作控制。香港中文大学的研究团队以 现,对编程的要求较高。本节按照字库信息的来源, 一个5自由度的机器人系统为平台[),通过对毛笔 将其分为从现有字库的信息提取和字帖的信息 的笔尖构建几何模型[3],在原有平台基础上提出了 获取。 基于视觉图像反馈的毛笔字笔画书写控制方法[], 通过现有字库进行汉字信息的提取,多是利用 并对汉字笔画的产生进行了分析,用与模仿汉字书 操作系统自带的函数读取TT℉矢量字库中的汉字 写361。 轮廓信息,通过Denavit--Hartenberg方法进行运动学 KA WAI Kwok[)为他们研究团队设计的毛笔 控制,实现汉字的书写。例如王光建414提取TT 字书写机器人添加了视觉系统,通过对毛笔字笔迹 矢量字库中汉字的轮廓信息,通过编程对TT℉字体 进行实时捕捉和数据分析,使之可以进行自矫正和 的点阵单线字体进行矢量化,然后使用汪涛[3】的函 学习。改进后的书写机器人能够通过视觉获取、学 数提取和显示功能对字符轮廓线进行提取和显示, 习汉字信息,并书写汉字。金英连[]使用视觉传感 实现写字机器人的运动学分析和仿真。宫晓博山 器获取字符图像,再利用单片机对机械臂进行控制 首先通过API函数编程实现了TTF字型轮廓信息 从而达到书写的目的。何薇[]利用机器视觉自定 的提取,然后针对工作面为平面或球面的不同情况, 义协议将图像传回PC机,通过得到的字符坐标信 分别使用插补算法和结合三维坐标系旋转变换的姿 息来控制机器人的多轴联动进行书写。在字迹清晰 态插补方法,在给定平面以及给定曲面上以较好的 条件下,该方法能够使机器人准确地写出机器视觉 效果完成了汉字的绘制。 所“看到”的字符。 另外也有研究者用其他方式进行编程,从现有 另外,也有一些研究者通过各种学习算法来控 字库中获取汉字的信息。景兴碧[1)]使用SCARA机 制机器人的运动。例如JAVIER G2]采用改进的 器人为平台,以基于Windows系统上的中文字库以 Lloyd算法与隐马尔可夫模型(HMM)对关节空间的 及VB、VC、PEWIN、EXCEL等应用软件,在点阵式 轨迹进行控制,并能更为有效地用于人类动作的学 2D的字迹中加入第三维信息,供机器人进行软笔书 习。ALAIN D通过采用深度神经网络学习,以此 写。张传剑[2]利用AutoCAD对汉字的笔画的点坐 生成一序列命令直接提供给底层的控制回路,能够 标信息进行提取,使用VB设计了MOTOMAN-UP6 在新的环境下归纳已学习到的动作,并以iCb为平 机器人的写字功能,利用集合算法对机器人进行运 台测试轨迹记录。SUN Yan等人的一些研究工作使 动学分析,使该机器人能够在水平面内任意角度进 用强化学习以及构造型神经网络方法,通过模仿婴 行文字书写。曲波)设计的自适应能力毛笔机器 儿发育过程,能够让机器人学会指向和定位行 人通过引入多个传感器,接收汉字的坐标信息进行 为38401 书写,能够模仿人类书写的能力并进一步完善自适 3 书写机器人的汉字信息获取方式 应性。 通过对汉字结构的研究发现,汉字虽然数目庞 中国书法汉字总数多达800000,按字体可分为 杂,并且有不同的写法、字体,但是不同的简单笔画 篆书、隶书、楷书、草书、行书、甲骨文、金文等。秦汉 在平面上的组合构成了各种各样的汉字。因此也有 两代的书法大部分是刻在石碑或者是竹简上,之后 不少研究者对各种字帖进行处理,获取汉字的笔画 的各朝代写在帛或者纸上。这些作品大都有副本流 信息,以此控制机械手臂进行书写。 传,为机器人书写数据库提供了大量的资源。然而 美▣Tennessee State University的Fenghui Yao 汉字的书写不同于英文的书写,汉字的书写更加注 教授在这一方面作了一些研究,他在CCC(Chinese
前一类书写机器人通过反馈控制来自动适应外部环 境变化,从而修正书写的内容,将外部干扰产生的影 响降到最小[33] 。 后者采用了隐马尔可夫模型、神经 网络、强化学习等方法来控制机器人对人类行为的 模仿学习。 在反馈控制的研究中,主要使用各种传感器来 感知周围环境,以此适应环境的变化。 曲波使用了 能够模仿人类书写能力的毛笔机器人[19] ,其基础结 构是采用末端执笔的机械臂,引入了图像、声呐、触 觉等多个传感器构成闭环控制系统,通过接收主控 PC 机提取汉字信息的控制指令,来模拟人类手臂动 作进行书写动作控制。 香港中文大学的研究团队以 一个 5 自由度的机器人系统为平台[8] ,通过对毛笔 的笔尖构建几何模型[34] ,在原有平台基础上提出了 基于视觉图像反馈的毛笔字笔画书写控制方法[35] , 并对汉字笔画的产生进行了分析,用与模仿汉字书 写[36] 。 KA WAI Kwok [7] 为他们研究团队设计的毛笔 字书写机器人添加了视觉系统,通过对毛笔字笔迹 进行实时捕捉和数据分析,使之可以进行自矫正和 学习。 改进后的书写机器人能够通过视觉获取、学 习汉字信息,并书写汉字。 金英连[23] 使用视觉传感 器获取字符图像,再利用单片机对机械臂进行控制 从而达到书写的目的。 何薇[10] 利用机器视觉自定 义协议将图像传回 PC 机,通过得到的字符坐标信 息来控制机器人的多轴联动进行书写。 在字迹清晰 条件下,该方法能够使机器人准确地写出机器视觉 所“看到”的字符。 另外,也有一些研究者通过各种学习算法来控 制机器人的运动。 例如 JAVIER G [26] 采用改进的 Lloyd 算法与隐马尔可夫模型(HMM)对关节空间的 轨迹进行控制,并能更为有效地用于人类动作的学 习。 ALAIN D [37] 通过采用深度神经网络学习,以此 生成一序列命令直接提供给底层的控制回路,能够 在新的环境下归纳已学习到的动作,并以 iCub 为平 台测试轨迹记录。 SUN Yan 等人的一些研究工作使 用强化学习以及构造型神经网络方法,通过模仿婴 儿发育 过 程, 能 够 让 机 器 人 学 会 指 向 和 定 位 行 为[38⁃40] 。 3 书写机器人的汉字信息获取方式 中国书法汉字总数多达 800 000,按字体可分为 篆书、隶书、楷书、草书、行书、甲骨文、金文等。 秦汉 两代的书法大部分是刻在石碑或者是竹简上,之后 的各朝代写在帛或者纸上。 这些作品大都有副本流 传,为机器人书写数据库提供了大量的资源。 然而 汉字的书写不同于英文的书写,汉字的书写更加注 重结构和美观,书写动作也更为复杂。 目前的毛笔 字书写机器人大部分书写的是楷书,少部分是隶书 或行书。 机器人书写中汉字信息获取的方式分为计 算机字库再现和人机协作、模仿学习。 3.1 计算机字库信息的再现书写 机器人对字库中汉字的再现书写,主要是通过 计算机将汉字转化成具体的点坐标,然后通过控制 机械臂的运动轨迹,对汉字进行书写。 这种汉字的 实现方式比较简单,效果表现和字库中的汉字一致, 主要使用直线关节型机器人,一部分使用曲关节型 机器人。 这种方法是在工程上实现汉字图形的再 现,对编程的要求较高。 本节按照字库信息的来源, 将其分为从现有字库的信息提取和字帖的信息 获取。 通过现有字库进行汉字信息的提取,多是利用 操作系统自带的函数读取 TTF 矢量字库中的汉字 轮廓信息,通过 Denavit⁃Hartenberg 方法进行运动学 控制,实现汉字的书写。 例如王光建[41⁃42] 提取 TTF 矢量字库中汉字的轮廓信息,通过编程对 TTF 字体 的点阵单线字体进行矢量化,然后使用汪涛[43] 的函 数提取和显示功能对字符轮廓线进行提取和显示, 实现写字机器人的运动学分析和仿真。 宫晓博[11] 首先通过 API 函数编程实现了 TTF 字型轮廓信息 的提取,然后针对工作面为平面或球面的不同情况, 分别使用插补算法和结合三维坐标系旋转变换的姿 态插补方法,在给定平面以及给定曲面上以较好的 效果完成了汉字的绘制。 另外也有研究者用其他方式进行编程,从现有 字库中获取汉字的信息。 景兴碧[18]使用 SCARA 机 器人为平台,以基于 Windows 系统上的中文字库以 及 VB、VC、PEWIN、EXCEL 等应用软件,在点阵式 2D 的字迹中加入第三维信息,供机器人进行软笔书 写。 张传剑[12]利用 AutoCAD 对汉字的笔画的点坐 标信息进行提取,使用 VB 设计了 MOTOMAN⁃UP6 机器人的写字功能,利用集合算法对机器人进行运 动学分析,使该机器人能够在水平面内任意角度进 行文字书写。 曲波[19] 设计的自适应能力毛笔机器 人通过引入多个传感器,接收汉字的坐标信息进行 书写,能够模仿人类书写的能力并进一步完善自适 应性。 通过对汉字结构的研究发现,汉字虽然数目庞 杂,并且有不同的写法、字体,但是不同的简单笔画 在平面上的组合构成了各种各样的汉字。 因此也有 不少研究者对各种字帖进行处理,获取汉字的笔画 信息,以此控制机械手臂进行书写。 美国 Tennessee State University 的 Fenghui Yao 教授在这一方面作了一些研究,他在 CCC(Chinese 第 1 期 曾华琳,等:书写机器人研究综述 ·19·
·20 智能系统学 报 第11卷 Character Calligraphy)机器人上设计了一种“中国汉 机器人末端传感器实时获取压力与位置数据,使人 字书法机器人”,通过构建一个基于笔画的汉字数 机协作系统更加稳定。Andre Lemme[9]以人形机器 据库来进行书写。他根据汉字的发展历程,分别构 人iCub为平台,构建了一个运动基元库(movement 建了篆书、隶书、楷书、草书、行书的相关字库。之后 primitive library),通过人类教师的引导能够自监督 采用基于图像和曲线加工技术和书法知识对毛笔字 地从复杂轨迹中感知并学习运动基元,学会相应的 的轨迹信息进行提取,将楷书汉字书写分为28个基 轨迹动作,并能使用复杂的手写轨迹进行评价。 本笔画。YA0还将汉字分成了几类固定的结构,根 另一种人机协作的方式就是通过观察、模仿人 据结构的不同来对笔画进行定位和拼接,得到了很 类教师,获取对应的汉字信息并进行汉字的书写。 好的书写效果[446 例如V.Mohan等人[so以婴儿人型机器人iCub为 也有研究者将获取到的信息通过建立毛笔模型 平台,通过iCb的分析/综合系统学习绘制从简单 来进行书写。JOSH H.M.Lam在RAS中构建笔迹 到复杂的形状图案。即通过观察一个教师的示范, 模型,利用线性回归的理论,使机器人书写出更加合 特别是教师末端执行器的轨迹,来学习模仿示范者 适的笔画[s)。在此基础上,JOSH H.M.Iam还提出 的动作。 了一种先进较成熟的几何学的毛笔模型):在实际 在此基础上,也有研究者通过观察人类手势来 书写过程中使用CCD摄像头采集实验数据获取毛 实现机器人手臂的书写。Sylvain Filiatraultts通过 笔的几何模型,之后通过添加8顶点笔画模型对每 无标记的视觉传感器,即Kinnect获取人类示范的 个笔画信息进行分段,使机器人能够很好地书写每 手臂手势信息,转换到以NA0机器人为平台的系统 一个笔画,从而更好地完成书写。 中,以此控制机器人的手臂进行书写动作。晁飞等 然而机器人根据笔画来进行书写是有一定困难 通过运动传感输入设备实时捕捉人类示范的手势轨 的,因为在笔画的组合方面,机器人需要进行定位和 迹,采用简化的分类集成器来识别人体不同的动作 拼接。薛环振[)]利用递归算法对毛笔字书法的笔 手势,来控制机械臂书写不同的笔画,最终实现整个 迹和结构进行了参数化,在机器人书写动作控制方 汉字的书写2]。在此基础上从人类手臂轨迹中提 面对书写过程增加了“回笔”的方法,使书写效果得 取汉字笔画并进行优化,以此能够让机械臂实现用 到了较大的改善。金英连2)使用视觉传感器获取 简单结构得到更优的书写效果,使其有潜力书写更 字符图像,然后通过网格化得到字符点阵,计算机信 为复杂的汉字[]。 息得到笔画,之后对笔画的中心进行聚类得到笔画 的顺序,从而达到书写的目的。何薇[]利用机器视 4 比较与讨论 觉自定义协议将图像传回PC机,然后使用OpenCV 为了能更好地对比书写机器人的产品、技术和 库对图像进行阈值比、闭运算,细化和笔画分割,通 参数性能参数,表1、表2和表3被用来对硬件构 过得到的字符坐标信息来控制机器人的多轴联动进 造、控制方法和汉字信息获取方式不同研究工作的 行书写。 来进行比较。 32人机协作和模仿书写 需要强调的是,在机器人的动作控制方面,常规 针对机器人书写动作最多的方式是采用人机交 的控制策略就是对机器人进行运动学分析。主要是 互的学习方式。学习机制的研究是人工智能研究的 建立D-H齐次坐标方程求解,或者是对机器人手臂 一项核心课题。采用了一部分学习策略的机器人, 在平面内的轨迹进行坐标计算。之后通过编程对机 它具有发现问题,并且能自主地解决问题的能 器人进行控制,实现机器人毛笔字的书写。这种方 力[4)。因此学习策略是智能系统具有适应性与性 法可重复再现通过示教编程存储起来的作业程序, 能自完善功能的基础。为了让机器人能够随着经验 然而这种系统主要依靠人对书写机器人机械臂的轨 积累自动提高性能,人们设计了许多不同的算法和 迹控制程序进行编写,使其完成预期的动作,工作量 方式来实现机器人不同类型的学习。本节根据人机 比较大,可扩展性差。 协作方式的不同,将分为随动和模仿两点进行介绍。 另外在对汉字信息的提取方面,目前的主要方 随动这一人机协作的形式,是通过人手牵引,与 法是通过编程函数提取现有字库的汉字信息,能够 机械手臂相互协作使之获取相应汉字信息,最终实 很好地对汉字进行再现,并且书写相当多的汉字。 现书写的过程。Toru Tsumugiwa(29提出了一种基于 然而,这种方法需要较多的编程,限制了机器人的拓 延时定位的人机交互的可变阻抗的控制方法,由压 展性和学习性,只能书写字库中的信息,不能通过不 力传感器实时获取人类操作者手臂前端的力度,使 断地学习和训练来掌握书写能力
Character Calligraphy)机器人上设计了一种“中国汉 字书法机器人”,通过构建一个基于笔画的汉字数 据库来进行书写。 他根据汉字的发展历程,分别构 建了篆书、隶书、楷书、草书、行书的相关字库。 之后 采用基于图像和曲线加工技术和书法知识对毛笔字 的轨迹信息进行提取,将楷书汉字书写分为 28 个基 本笔画。 YAO 还将汉字分成了几类固定的结构,根 据结构的不同来对笔画进行定位和拼接,得到了很 好的书写效果[44⁃46] 。 也有研究者将获取到的信息通过建立毛笔模型 来进行书写。 JOSH H. M. Lam 在 IRAS 中构建笔迹 模型,利用线性回归的理论,使机器人书写出更加合 适的笔画[8] 。 在此基础上,JOSH H. M. Lam 还提出 了一种先进较成熟的几何学的毛笔模型[47] :在实际 书写过程中使用 CCD 摄像头采集实验数据获取毛 笔的几何模型,之后通过添加 8 顶点笔画模型对每 个笔画信息进行分段,使机器人能够很好地书写每 一个笔画,从而更好地完成书写。 然而机器人根据笔画来进行书写是有一定困难 的,因为在笔画的组合方面,机器人需要进行定位和 拼接。 薛环振[13] 利用递归算法对毛笔字书法的笔 迹和结构进行了参数化,在机器人书写动作控制方 面对书写过程增加了“回笔”的方法,使书写效果得 到了较大的改善。 金英连[23] 使用视觉传感器获取 字符图像,然后通过网格化得到字符点阵,计算机信 息得到笔画,之后对笔画的中心进行聚类得到笔画 的顺序,从而达到书写的目的。 何薇[10] 利用机器视 觉自定义协议将图像传回 PC 机,然后使用 OpenCV 库对图像进行阈值比、闭运算,细化和笔画分割,通 过得到的字符坐标信息来控制机器人的多轴联动进 行书写。 3.2 人机协作和模仿书写 针对机器人书写动作最多的方式是采用人机交 互的学习方式。 学习机制的研究是人工智能研究的 一项核心课题。 采用了一部分学习策略的机器人, 它具有 发 现 问 题, 并 且 能 自 主 地 解 决 问 题 的 能 力[48] 。 因此学习策略是智能系统具有适应性与性 能自完善功能的基础。 为了让机器人能够随着经验 积累自动提高性能,人们设计了许多不同的算法和 方式来实现机器人不同类型的学习。 本节根据人机 协作方式的不同,将分为随动和模仿两点进行介绍。 随动这一人机协作的形式,是通过人手牵引,与 机械手臂相互协作使之获取相应汉字信息,最终实 现书写的过程。 Toru Tsumugiwa [29]提出了一种基于 延时定位的人机交互的可变阻抗的控制方法,由压 力传感器实时获取人类操作者手臂前端的力度,使 机器人末端传感器实时获取压力与位置数据,使人 机协作系统更加稳定。 Andre Lemme [49]以人形机器 人 iCub 为平台,构建了一个运动基元库(movement primitive library), 通过人类教师的引导能够自监督 地从复杂轨迹中感知并学习运动基元,学会相应的 轨迹动作,并能使用复杂的手写轨迹进行评价。 另一种人机协作的方式就是通过观察、模仿人 类教师,获取对应的汉字信息并进行汉字的书写。 例如 V. Mohan 等人[50] 以婴儿人型机器人 iCub 为 平台,通过 iCub 的分析/ 综合系统学习绘制从简单 到复杂的形状图案。 即通过观察一个教师的示范, 特别是教师末端执行器的轨迹,来学习模仿示范者 的动作。 在此基础上,也有研究者通过观察人类手势来 实现机器人手臂的书写。 Sylvain Filiatrault [51] 通过 无标记的视觉传感器,即 Kinnect 获取人类示范的 手臂手势信息,转换到以 NAO 机器人为平台的系统 中,以此控制机器人的手臂进行书写动作。 晁飞等 通过运动传感输入设备实时捕捉人类示范的手势轨 迹,采用简化的分类集成器来识别人体不同的动作 手势,来控制机械臂书写不同的笔画,最终实现整个 汉字的书写[52] 。 在此基础上从人类手臂轨迹中提 取汉字笔画并进行优化,以此能够让机械臂实现用 简单结构得到更优的书写效果,使其有潜力书写更 为复杂的汉字[53] 。 4 比较与讨论 为了能更好地对比书写机器人的产品、技术和 参数性能参数,表 1、表 2 和表 3 被用来对硬件构 造、控制方法和汉字信息获取方式不同研究工作的 来进行比较。 需要强调的是,在机器人的动作控制方面,常规 的控制策略就是对机器人进行运动学分析。 主要是 建立 D⁃H 齐次坐标方程求解,或者是对机器人手臂 在平面内的轨迹进行坐标计算。 之后通过编程对机 器人进行控制,实现机器人毛笔字的书写。 这种方 法可重复再现通过示教编程存储起来的作业程序, 然而这种系统主要依靠人对书写机器人机械臂的轨 迹控制程序进行编写,使其完成预期的动作,工作量 比较大,可扩展性差。 另外在对汉字信息的提取方面,目前的主要方 法是通过编程函数提取现有字库的汉字信息,能够 很好地对汉字进行再现,并且书写相当多的汉字。 然而,这种方法需要较多的编程,限制了机器人的拓 展性和学习性,只能书写字库中的信息,不能通过不 断地学习和训练来掌握书写能力。 ·20· 智 能 系 统 学 报 第 11 卷
第1期 曾华琳,等:书写机器人研究综述 ·21 表1机器人硬件构造的比较 Table 1 Comparison of robotic hardware 硬件构造分类 特 点 自由度个数 书写平台 X、Y、Z直线坐标系统: 直角坐标型机器人; 直线关节型机器人 通过坐标参数实现平面轨迹: 3-5个 添加Z轴旋转和倾斜的机器人: 解运动学正解; 智能机器人艺术系统(RAS): 改造的直角坐标型机器人; 笛卡尔空间坐标系: DENSO-VP6242G工业型机器人; 曲关节型机器人 通过平面轨迹计算各关节参数: 6个 ABB-RB140型工业机器人; 解运动学逆解: MOTOMAN-UP6机器人; 平面关节型机器人 由立柱、大臂和小臂组成: 4个 SCARA型机器人; 解运动学方程 AdeptOne平面机械手臂: 表2机器人控制方法的比较 Table 2 Comparison of robotic control methods 控制方法分类 特点 子类 控制方法 坐标计算和计算机编程: 通过坐标计算,计算机编 基于AutoCAD\VB设计写字功能; 坐标计算控制 程: 插补算法和姿态插补方法: 按照预设轨迹,顺序控制 插值算法和坐标变换: 书写 添加z旋转和倾斜,可在5个自由度上变化: 直角三角形的三点校准: 通过运动学方程控制机械臂: 运动学控制 建立运动学模型,使用三级递阶控制: 控制机械手臂在已知运 对动作笔画求解运动学方程控制: 机器人运动学、 动轨迹下运动: 通过人类动作运动学理论控制: 动力学控制 求解对应关节间角度控 模拟汉字书写过程中的力反馈; 制书写 动力学控制 基于反作用力内部接触假设的多触点操控框架; 可变阻抗控制,实时按比例地调整动力学估算: 虚拟疲劳方法,让机器人根据当前疲劳程度控制: 引入多个传感器构成闭环控制系统: 通过反馈控制自动 基于视觉图像反馈的笔画书写控制: 通过视觉系统自我矫正和学习; 机器人具有发现自身问 适应环境变化 视觉传感器获取字符图像,单片机控制; 智能控制 题,并且自主决定自身行 机器视觉获取信息来控制机器人的多轴联动; 为的能力 改进的山oyd算法与深度神经网络学习提供底 智能学习算法 层控制回路命令隐马尔可夫模型控制; 强化学习以及构造型神经网络方法控制:
表 1 机器人硬件构造的比较 Table 1 Comparison of robotic hardware 硬件构造分类 特 点 自由度个数 书写平台 直线关节型机器人 X、Y、Z 直线坐标系统; 通过坐标参数实现平面轨迹; 解运动学正解; 3~ 5 个 直角坐标型机器人; 添加 Z 轴旋转和倾斜的机器人; 智能机器人艺术系统(IRAS); 改造的直角坐标型机器人; 曲关节型机器人 笛卡尔空间坐标系; 通过平面轨迹计算各关节参数; 解运动学逆解; 6 个 DENSO⁃VP6242G 工业型机器人; ABB⁃IRB140 型工业机器人; MOTOMAN⁃UP6 机器人; 平面关节型机器人 由立柱、大臂和小臂组成; 解运动学方程 4 个 SCARA 型机器人; AdeptOne 平面机械手臂; 表 2 机器人控制方法的比较 Table 2 Comparison of robotic control methods 控制方法分类 特点 子类 控制方法 坐标计算控制 通过坐标计算,计算机编 程; 按照预设轨迹,顺序控制 书写 坐标计算和计算机编程; 基于 AutoCAD\VB 设计写字功能; 插补算法和姿态插补方法; 插值算法和坐标变换; 添加 z 旋转和倾斜,可在 5 个自由度上变化; 直角三角形的三点校准; 机器人运动学、 动力学控制 控制机械手臂在已知运 动轨迹下运动; 求解对应关节间角度控 制书写 运动学控制 通过运动学方程控制机械臂; 建立运动学模型,使用三级递阶控制; 对动作笔画求解运动学方程控制; 通过人类动作运动学理论控制; 动力学控制 模拟汉字书写过程中的力反馈; 基于反作用力内部接触假设的多触点操控框架; 可变阻抗控制,实时按比例地调整动力学估算; 虚拟疲劳方法,让机器人根据当前疲劳程度控制; 智能控制 机器人具有发现自身问 题,并且自主决定自身行 为的能力 通过反馈控制自动 适应环境变化 引入多个传感器构成闭环控制系统; 基于视觉图像反馈的笔画书写控制; 通过视觉系统自我矫正和学习; 视觉传感器获取字符图像,单片机控制; 机器视觉获取信息来控制机器人的多轴联动; 智能学习算法 改进的 Lloyd 算法与深度神经网络学习提供底 层控制回路命令隐马尔可夫模型控制; 强化学习以及构造型神经网络方法控制; 第 1 期 曾华琳,等:书写机器人研究综述 ·21·
.22 智能系统学报 第11卷 表3汉字信息获取方式的比较 Table 3 Comparison of chinese character font acquirement 汉字信息获取方式分类 特点 子类 获取方式 通过API函数编程提取TT℉矢量字库中的汉 字轮第信息: 通过编程从现有字库 获取汉字信息 在点阵式字迹中加入第三维信息: 利用AutoCAD提取笔画的点坐标信息; 将汉字转化成坐标或笔 通过传感器获取汉字的坐标信息: 计算机字库再现 画信息,然后控制机械臂 构建一个基于笔画的汉字数据库: 的运动轨迹书写汉字 构建笔迹模型,获取毛笔几何模型,分段笔画 处理字帖获取 信息; 汉子笔画信息 参数化毛笔字书法的笔迹和结构: 网格化字符得到点阵,计算脊信息得到笔画: OpenCV处理汉字图像得到字符坐标信息: 实时获取人手前端力度和机器人末端的位置 随动:人机相互协作 获取汉字书写信息 数据: 通过人类教师引导学会相应的轨迹动作: 人机协作,模仿学习 针对人的书写动作的获 取 模仿:通过观察、模 观察教师末端执行器的轨迹,学习模仿形状、 仿获取汉字书写信 图案: 息 通过Kinect获取人类示范的手臂手势信息; 通过Kinect获取、识别动作手势轨迹; 随着计算机视觉技术的研究和发展,很多研究 力,鲁棒性好:学习能力,控制能力可以不断增 者利用机器人的“眼睛”对汉字信息进行捕捉和再 强。这种控制系统可以自动测量被控对象的被 现。基于计算机视觉来获取字体信息,在很大程度 控制量,并求出与期望值的偏差,同时采集输入 上能够让机器人进行自主学习和训练,但是机器人 环境的信息,然后根据所采集的输入信息和已 在获取汉字信息时需要克服外界干扰,还要将信息 有知识进行推理,使得其对被控对象的输出控 转化成内部参数来完成书写,其书写控制方面需要 制的偏差尽可能减小或消除。根据控制对象本 通过不断地反馈修正训练才能够达到很好的书写 身参数或周围环境的变化,调整其自身,使得其 效果。 行为在新的或者已经改变了的环境下达到最 综上所述,未来的研究工作将会有如下两个可 好,或者至少是容许的特性和功能。 供拓展的领域: 2)模仿学习。目前对机器人模仿人书写汉字 1)智能控制与机器学习。引入智能控制模 的研究中,重复汉字的书写还没有能够达到机器人 型和机器学习的方法,可以大幅改善毛笔字书 自我创作书写的效果[s。中国汉字有十万多个,常 写机器人的动作控制。智能控制模型是在无人 用汉字有三千多个),在汉字的书写中,不同的汉 干预的情况下能够自主驱动智能机器实现控制 字是由有限的固定的笔画组合而成的。在汉字的书 目标的自动控制系统,它主要是针对控制对象 写过程中涉及了很多重复性的笔画运动,因此可以 及其环境、控制目标和任务的不确定性和复杂 考虑利用在先前相同笔画运动轨迹中收集得到的数 性而进行设计的。智能控制系统的特点是:无 据来改善机械臂在随后笔画中的稳定性和完善性。 需建立被控对象的数学模型,特别适合非线性、 多样性的汉字具有有限笔画重复构成的特点,意味 时变和复杂不确定的控制对象:具有分层递阶 着毛笔字书写机器人完全可以采用各种学习算 的控制组织结构,便于处理大量的信息和储存 法[,这也为研究机器人的学习机制提供了一个非 的知识,并进行推理:控制效果具有自适应能 常有趣的途径[0]
表 3 汉字信息获取方式的比较 Table 3 Comparison of chinese character font acquirement 汉字信息获取方式分类 特点 子类 获取方式 计算机字库再现 将汉字转化成坐标或笔 画信息,然后控制机械臂 的运动轨迹书写汉字 通过编程从现有字库 获取汉字信息 通过 API 函数编程提取 TTF 矢量字库中的汉 字轮廓信息; 在点阵式字迹中加入第三维信息; 利用 AutoCAD 提取笔画的点坐标信息; 通过传感器获取汉字的坐标信息; 处理字帖获取 汉子笔画信息 构建一个基于笔画的汉字数据库; 构建笔迹模型,获取毛笔几何模型,分段笔画 信息; 参数化毛笔字书法的笔迹和结构; 网格化字符得到点阵,计算脊信息得到笔画; OpenCV 处理汉字图像得到字符坐标信息; 人机协作,模仿学习 针对人的书写动作的获 取 随动:人机相互协作 获取汉字书写信息 实时获取人手前端力度和机器人末端的位置 数据; 通过人类教师引导学会相应的轨迹动作; 模仿: 通过观察、 模 仿获取汉字书写信 息 观察教师末端执行器的轨迹,学习模仿形状、 图案; 通过 Kinect 获取人类示范的手臂手势信息; 通过 Kinect 获取、识别动作手势轨迹; 随着计算机视觉技术的研究和发展,很多研究 者利用机器人的“眼睛”对汉字信息进行捕捉和再 现。 基于计算机视觉来获取字体信息,在很大程度 上能够让机器人进行自主学习和训练,但是机器人 在获取汉字信息时需要克服外界干扰,还要将信息 转化成内部参数来完成书写,其书写控制方面需要 通过不断地反馈修正训练才能够达到很好的书写 效果。 综上所述,未来的研究工作将会有如下两个可 供拓展的领域: 1)智能控制与机器学习。 引入智能控制模 型和机器学习的方法,可以大幅改善毛笔字书 写机器人的动作控制。 智能控制模型是在无人 干预的情况下能够自主驱动智能机器实现控制 目标的自动控制系统,它主要是针对控制对象 及其环境、控制目标和任务的不确定性和复杂 性而进行设计的。 智能控制系统的 特 点 是:无 需建立被控对象的数学模型,特别适合非线性、 时变和复杂不确定的控制对象;具有分层递阶 的控制组织结构,便于处理大量的信息和储存 的知识, 并 进 行 推 理; 控 制 效 果 具 有 自 适 应 能 力,鲁棒性好;学习能力,控制能力可以不断增 强。 这种控制系统可以自动测量被控对象的被 控制量,并求出与期望值的偏差,同时采集输入 环境的信息,然后根据所采集的输入信息和已 有知识进行推理,使得其对被控对象的输出控 制的偏差尽可能减小或消除。 根据控制对象本 身参数或周围环境的变化,调整其自身,使得其 行为在 新 的 或 者 已 经 改 变 了 的 环 境 下 达 到 最 好,或者至少是容许的特性和功能。 2)模仿学习。 目前对机器人模仿人书写汉字 的研究中,重复汉字的书写还没有能够达到机器人 自我创作书写的效果[54] 。 中国汉字有十万多个,常 用汉字有三千多个[55] ,在汉字的书写中,不同的汉 字是由有限的固定的笔画组合而成的。 在汉字的书 写过程中涉及了很多重复性的笔画运动,因此可以 考虑利用在先前相同笔画运动轨迹中收集得到的数 据来改善机械臂在随后笔画中的稳定性和完善性。 多样性的汉字具有有限笔画重复构成的特点,意味 着毛笔字书写机器人完全可以采用各种学习算 法[56] ,这也为研究机器人的学习机制提供了一个非 常有趣的途径[50] 。 ·22· 智 能 系 统 学 报 第 11 卷
第1期 曾华琳,等:书写机器人研究综述 ·23 5结束语 些新的动作时,可以通过模仿能力来学习康复医师 的新动作。这些能力正是机器人通过模仿来学习书 通过对该领域已有文献的阅读和思考,按照毛 写所需要的,或者说是书写机器人所具备的。 笔字书写机器人的硬件构造、书写动作控制方法和 机器人书写对机械手臂灵巧性的高要求可以被 书写机器人的实现方式进行了分类,对目前毛笔字 应用到有机器人操作的外科手术中去。外科手术需 书写机器人的研究现状和特点做了研究。本文还对 要控制器械在较小的活动空间中进行精确的定位和 比了各个研究的特点和优势,并在机器人书写动作 运动,能达到较好书写效果的机器人也是可以实现 控制与实现方式方面做了一些思考。机器人通过不 这一功能的。但是,从目前的研究现状来看,还没有 断学习来完成写字复杂工作,其重点在于学习,能够 能达到这样要求的书写机器人。因此,需要加强对 让机器人通过学习来完成复杂书写动作的控制是近 采用智能控制方法的机器人书写能力的研究。 年来的研究热点,也是机器人手眼协调发展的一个 重要分支。在研究方面,汉字书写机器人更着重于 参考文献: 对机器人手臂的控制,这样更接近人们对于智能机 [1]周远清,张再青.智能机器人系统[M].北京:清华大学 器人的控制期望。当然,机器人手眼协调的发展一 出版社,1989:17-22 直伴随着智能机器人的发展,在尝试对机器人写毛 [2]曾庆军,黄惟一.智能遥控作业器—下一代机器人发 笔字改进和提高的过程中,也会促进智能机器人的 展的重要生长点[J].机器人技术与应用,1998,(3): 7-10 发展和研究。另外,汉字书写过程中的重复动作,也 [3]方建军,何广平.智能机器人[M.北京:化学化工出版 为机器学习方法的实践和提高提供了一种方法。 社,2004:1-14 对书写机器人输入方式的加强方面,由于汉字 [4]CHAO Fei,ZHANG Xin,LIN Haixiong,et al.Learning ro- 的结构特点和文化底蕴,毛笔字书写机器人的研究 botic hand-eye coordination through a developmental con- 也将在一定程度上为“脑机接口”技术应用的拓展 straint driven approach[].Intemational journal of automa- 打下了前期基础列。并且,随着计算机技术和人工 tion and computing,2013,10(5):414-424. 智能理论的发展,更加高效、智能的发展型机器人将 [5]SICILIANO B,KHATIB O.机器人手册[M.北京:机械 成为研究的重点。在以后的科研工作中,可以关注 工业出版社,2013:196-211. 人工智能学习理论与模仿学习在机器人写毛笔字中 SICILIANO B,KHATIB O.Springer Handbook of Roboties 的实现和改进,并将发展型机器人的思想引入机器 [M].Beijing:China Machine Press,2013:196-211. 人书写动作的控制中,让智能机器人的动作控制更 [6 MAN Yongkui,BIAN Chunyuan,ZHAO Hongbin,et al.A 加贴近人们的期望。 kind of calligraphy robot[C]//Proceedings of the 3"Inter- national Conference on Information Sciences and Interaction 为了强调书写机器人的未来的研究方向以及可 Sciences (ICIS).Chengdu,China,2010:635-638 以预见的规模化应用领域,在本文的最后从如下3 [7]WAI KK,YAM Y,WAH LO K.Vision system and projec- 个方面进行了展望。 tive rectification for a robot drawing platform[C]//Proceed- 机器人书写功能最直接的应用是个性化的艺术 ings of IEEE International Conference on Control and Auto- 喷涂,特别是在一些危险的外墙上进行书写甚至作 mation.Budapest,2005:691-696. 画,都非常适合机器人去实现:另一方面,在一些高 [8]LAM J H M,YAM Y.Stroke trajectory generation experi- 毒、高污染环境下的汽车整体喷漆以及个性化图盘 ment for a robotic Chinese calligrapher using a geometric 的喷漆工作,也非常适合大量的具有书写能力的机 brush footprint model[C]//Proceedings of IEEE/RSJ Inter- 器人去胜任。这两种方式都可以根据人工设计好的 national Conference on Intelligent Robots and Systems.St. Louis,M0,2009:2315-2320. 或者机器人自己创作的艺术效果进行。由于喷涂与 [9]MATSUI A,KATSURA S.A method of motion reproduction 书写能力可以直接转化,因此在市场有需求的情况 for calligraphy education[C]//IEEE International Confer- 下,可以马上就转化为企业的实际应用。 ence on Mechatronics,2013,307(9):452-457. 机器人的书写能力还可以应用在康复锻炼活动 [10]何薇,钱增磊,唐超,等.基于机器视觉的机器人写字 中。机器人可以托起或者拉动需要康复的肢体,来 技术的设计[J].江南大学学报:自然科学版,2011,10 进行一些基本恢复动作,运动范围可以逐渐从小到 (5):513-517 大,运动速度可以从慢到快。并且机器人需要做一 HE Wei,QIAN Zenglei,TANG Chao,et al.Design of
5 结束语 通过对该领域已有文献的阅读和思考,按照毛 笔字书写机器人的硬件构造、书写动作控制方法和 书写机器人的实现方式进行了分类,对目前毛笔字 书写机器人的研究现状和特点做了研究。 本文还对 比了各个研究的特点和优势,并在机器人书写动作 控制与实现方式方面做了一些思考。 机器人通过不 断学习来完成写字复杂工作,其重点在于学习,能够 让机器人通过学习来完成复杂书写动作的控制是近 年来的研究热点,也是机器人手眼协调发展的一个 重要分支。 在研究方面,汉字书写机器人更着重于 对机器人手臂的控制,这样更接近人们对于智能机 器人的控制期望。 当然,机器人手眼协调的发展一 直伴随着智能机器人的发展,在尝试对机器人写毛 笔字改进和提高的过程中,也会促进智能机器人的 发展和研究。 另外,汉字书写过程中的重复动作,也 为机器学习方法的实践和提高提供了一种方法。 对书写机器人输入方式的加强方面,由于汉字 的结构特点和文化底蕴,毛笔字书写机器人的研究 也将在一定程度上为“脑机接口”技术应用的拓展 打下了前期基础[57] 。 并且,随着计算机技术和人工 智能理论的发展,更加高效、智能的发展型机器人将 成为研究的重点。 在以后的科研工作中,可以关注 人工智能学习理论与模仿学习在机器人写毛笔字中 的实现和改进,并将发展型机器人的思想引入机器 人书写动作的控制中,让智能机器人的动作控制更 加贴近人们的期望。 为了强调书写机器人的未来的研究方向以及可 以预见的规模化应用领域,在本文的最后从如下 3 个方面进行了展望。 机器人书写功能最直接的应用是个性化的艺术 喷涂,特别是在一些危险的外墙上进行书写甚至作 画,都非常适合机器人去实现;另一方面,在一些高 毒、高污染环境下的汽车整体喷漆以及个性化图盘 的喷漆工作,也非常适合大量的具有书写能力的机 器人去胜任。 这两种方式都可以根据人工设计好的 或者机器人自己创作的艺术效果进行。 由于喷涂与 书写能力可以直接转化,因此在市场有需求的情况 下,可以马上就转化为企业的实际应用。 机器人的书写能力还可以应用在康复锻炼活动 中。 机器人可以托起或者拉动需要康复的肢体,来 进行一些基本恢复动作,运动范围可以逐渐从小到 大,运动速度可以从慢到快。 并且机器人需要做一 些新的动作时,可以通过模仿能力来学习康复医师 的新动作。 这些能力正是机器人通过模仿来学习书 写所需要的,或者说是书写机器人所具备的。 机器人书写对机械手臂灵巧性的高要求可以被 应用到有机器人操作的外科手术中去。 外科手术需 要控制器械在较小的活动空间中进行精确的定位和 运动,能达到较好书写效果的机器人也是可以实现 这一功能的。 但是,从目前的研究现状来看,还没有 能达到这样要求的书写机器人。 因此,需要加强对 采用智能控制方法的机器人书写能力的研究。 参考文献: [1]周远清, 张再青. 智能机器人系统[M]. 北京: 清华大学 出版社, 1989: 17⁃22. [2]曾庆军, 黄惟一. 智能遥控作业器———下一代机器人发 展的重要生长点[ J]. 机器人技术与应用, 1998, (3): 7⁃10. [3]方建军, 何广平. 智能机器人[M]. 北京: 化学化工出版 社, 2004: 1⁃14. [4]CHAO Fei, ZHANG Xin, LIN Haixiong, et al. Learning ro⁃ botic hand⁃eye coordination through a developmental con⁃ straint driven approach[J]. International journal of automa⁃ tion and computing, 2013, 10(5): 414⁃424. [5]SICILIANO B, KHATIB O. 机器人手册[M]. 北京: 机械 工业出版社, 2013: 196⁃211. SICILIANO B, KHATIB O. Springer Handbook of Robotics [M]. Beijing: China Machine Press, 2013: 196⁃211. [6]MAN Yongkui, BIAN Chunyuan, ZHAO Hongbin, et al. A kind of calligraphy robot[C] / / Proceedings of the 3 rd Inter⁃ national Conference on Information Sciences and Interaction Sciences (ICIS). Chengdu, China, 2010: 635⁃638. [7]WAI K K, YAM Y, WAH LO K. Vision system and projec⁃ tive rectification for a robot drawing platform[C] / / Proceed⁃ ings of IEEE International Conference on Control and Auto⁃ mation. Budapest, 2005: 691⁃696. [8] LAM J H M, YAM Y. Stroke trajectory generation experi⁃ ment for a robotic Chinese calligrapher using a geometric brush footprint model[C] / / Proceedings of IEEE/ RSJ Inter⁃ national Conference on Intelligent Robots and Systems. St. Louis, MO, 2009: 2315⁃2320. [9]MATSUI A, KATSURA S.A method of motion reproduction for calligraphy education[C] / / IEEE International Confer⁃ ence on Mechatronics, 2013, 307(9): 452⁃457. [10]何薇, 钱增磊, 唐超, 等. 基于机器视觉的机器人写字 技术的设计[J]. 江南大学学报:自然科学版, 2011, 10 (5): 513⁃517. HE Wei, QIAN Zenglei, TANG Chao, et al. Design of 第 1 期 曾华琳,等:书写机器人研究综述 ·23·
·24 智能系统学报 第11卷 writing by robot manipulator based on machine vision[. [20]乔金晶,李志斌,节鹏举,等.写字灵巧手系统研究 Journal of Jiangnan university:Natural Science Edition, [J].中国科技纵横,2010,(23):39-40. 2011,10(5):513-517. QIAO Jinjing,LI Zhibing,JIE Pengju,et al.The research [11]宫晓博,王建平.RB140型工业机器人连续轨迹控制 of the write dexterous hand system[J].China science 的汉字绘制[J].现代制造工程,2010(2):135-137. technology,2010,(23):39-40. GONG Xiaobo,WANG Jianping.Drawing Chinese charac- [21]KIM B H.Modeling and analysis of robotic dual soft-fin- ter based on continuous path control of IRB140 industrial gered writing[J].Intemational journal of precision engi- robot[J].Modern manufacturing engineering,2010(2): neering and manufacturing,2009,10(2):17-23. 135-137. [22]CRAINIC M F,PREITL S,SANDRU L A,et al.Secure [12]张传剑,李春梅,韩军.MOTOMAN-.UP6机器人写字功 handwriting using a robot arm for educational purpose 能设计与实现[J].机械制造与自动化,2011,40(2): [C]//Proceedings of the 19th International Conference On 119-121,161. Methods and Models in Automation and Robotics ZHANG Chuanjian,LI Chunmei,HAN Jun.Functional (MMAR).Miedzyzdroje,2014:58-63. design and realization of writing for MOTOMAN-UP6 robots [23]金英连,程峰,郑成伟,等.智能写字机器人机构与递 [J.Machine building automation,2011,40(2):119- 阶控制系统设计[J].中国计量学院学报,2009,20 121.161. (3):249-253. [13]薛环振.运用机械臂的计算机书法创作系统设计与开 JIN Yinglian,CHENG Feng,ZHENG Chengwei,et al. 发[D].上海:华东师范大学,2011. Smart lettering robot mechanism and hierarchical control XUE Huanzhen.Design and development of computer calli- design[J].Journal of China university of metrology,2009, graphy creation system using robot arm[D].Shanghai: 20(3):249-253. East China Normal University,2011. [24]满翠华,范迅,李成荣.画像机器人手臂运动学研究 [14]俞凯.计算机书法若干关键技术研究[D].杭州:浙江 [J].起重运输机械,2007(3):68-70. 大学,2010 MAN Cuihua,FAN Xun,LI Chengrong.Kinematics simu- YU Kai.Researches on some key technologies of computer lation of painting robot bionics arm[].Hoisting and con- calligraphy D].Hangzhou:Zhejiang University,2010. veying machinery,2007 (3):68-70 [15]姜家宏.平面关节型机器人结构优化研究[D].沈阳: [25]PLAMONDON R,DJIOUA M.A multi-level representa- 东北大学,2010. tion paradigm for handwriting stroke generation[J].Hu- JIANG Jiahong.The structure optimization research of pla- man movement science,2006,25(4-5):586-607. nar articulated robot[D].Shenyang:Northeastern Univer- [26]GARRIDO J,YU Wen,SORIA A.Human behavior learn- sity,2010. ing for robot in joint space[J].Neurocomputing,2015, [16]杨成文.平面关节机器人研制及其轨迹规划[D].广 155:22-31 州:华南理工大学,2012 [27]王党校,张玉茹,姚冲.力反馈汉字书法模拟的任务规 YANG Chengwen.Research and development of the 划和逼真度评价方法[J].系统仿真学报,2006,18 SCARA industrial robot and trajectory planning[D].Guan- (8):2307-2326. gzhou:South China University of Technology,2012. WANG Dangxiao,ZHANG Yuru,Yao Chong.Task plan- [17]张红.SCARA机器人小臂结构特性分析[D].天津:天 ning and fidelity evaluation in force enabled Chinese calli- 津大学,2008. graphy simulation system[.Journal of system simulation, ZHANG Hong.Structural characteristic analysis of the 2006.18(8):2307-2326. SCARA robot's small arm[D].Tianjin:Tianjin Universi- [28]KIM S K,JO J,OH Y.Robotic handwriting:Multi-contact y,2008. manipulation based on Reactional Internal Contact Hypoth- [18]景兴碧,万仁明,张以都,等.软笔书法机器人[J].机 esis[C]//Proceedings of IEEE/RSJ International Confer- 器人技术与应用,2000(6):21-23. ence on Intelligent Robots and Systems IROS 2014).Chi- JING Xingbi,WAN Renming,ZHANG Yidu,et al.A ro- cag0,L,2014:877-884. bot system for Chinese penmanship[].Robot technique [29]TSUMUGIWA T,YOKOGAWA R,KHARA R.Variable and application,2000 (6):21-23. impedance control based on estimation of human arm stiff- [19]曲波.一种具有环境自适应能力的毛笔机器人[J].微 ness for human-robot cooperative calligraphic task [C]/ 型电脑应用,2004,20(10):42-44. Proceedings of IEEE International Conference on Robotics QU Bo.An adaptive robot of calligraphist[].Microcom- and Automation.Washington,DC,USA,2002:644-650. puter applications,2004,20(10):42-44. [30]POTKONJAK V.Robotic handwriting:Why and how
writing by robot manipulator based on machine vision[ J]. Journal of Jiangnan university: Natural Science Edition, 2011, 10(5): 513⁃517. [11]宫晓博, 王建平. IRB140 型工业机器人连续轨迹控制 的汉字绘制[J]. 现代制造工程, 2010(2): 135⁃137. GONG Xiaobo, WANG Jianping. Drawing Chinese charac⁃ ter based on continuous path control of IRB140 industrial robot[ J]. Modern manufacturing engineering, 2010 ( 2): 135⁃137. [12]张传剑, 李春梅, 韩军. MOTOMAN⁃UP6 机器人写字功 能设计与实现[ J]. 机械制造与自动化, 2011, 40(2): 119⁃121, 161. ZHANG Chuanjian, LI Chunmei, HAN Jun. Functional design and realization of writing for MOTOMAN⁃UP6 robots [J]. Machine building & automation, 2011, 40(2): 119⁃ 121, 161. [13]薛环振. 运用机械臂的计算机书法创作系统设计与开 发[D]. 上海: 华东师范大学, 2011. XUE Huanzhen. Design and development of computer calli⁃ graphy creation system using robot arm [ D]. Shanghai: East China Normal University, 2011. [14]俞凯. 计算机书法若干关键技术研究[D]. 杭州: 浙江 大学, 2010. YU Kai. Researches on some key technologies of computer calligraphy [ D]. Hangzhou: Zhejiang University, 2010. [15]姜家宏. 平面关节型机器人结构优化研究[D]. 沈阳: 东北大学, 2010. JIANG Jiahong. The structure optimization research of pla⁃ nar articulated robot[D]. Shenyang: Northeastern Univer⁃ sity, 2010. [16]杨成文. 平面关节机器人研制及其轨迹规划[D]. 广 州:华南理工大学, 2012. YANG Chengwen. Research and development of the SCARA industrial robot and trajectory planning[D]. Guan⁃ gzhou: South China University of Technology, 2012. [17]张红. SCARA 机器人小臂结构特性分析[D]. 天津: 天 津大学, 2008. ZHANG Hong. Structural characteristic analysis of the SCARA robot's small arm[D]. Tianjin: Tianjin Universi⁃ ty, 2008. [18]景兴碧, 万仁明, 张以都, 等. 软笔书法机器人[ J]. 机 器人技术与应用, 2000 (6): 21⁃23. JING Xingbi, WAN Renming, ZHANG Yidu, et al. A ro⁃ bot system for Chinese penmanship [ J]. Robot technique and application, 2000 (6): 21⁃23. [19]曲波. 一种具有环境自适应能力的毛笔机器人[ J]. 微 型电脑应用, 2004, 20(10): 42⁃44. QU Bo. An adaptive robot of calligraphist[ J]. Microcom⁃ puter applications, 2004, 20(10): 42⁃44. [20]乔金晶, 李志斌, 节鹏举, 等. 写字灵巧手系统研究 [J]. 中国科技纵横, 2010, (23): 39⁃40. QIAO Jinjing, LI Zhibing, JIE Pengju, et al. The research of the write dexterous hand system[ J]. China science & technology, 2010, (23): 39⁃40. [21]KIM B H. Modeling and analysis of robotic dual soft⁃fin⁃ gered writing [ J]. International journal of precision engi⁃ neering and manufacturing, 2009, 10(2): 17⁃23. [22]CRAINIC M F, PREITL S, SANDRU L A, et al. Secure handwriting using a robot arm for educational purpose [C] / / Proceedings of the 19th International Conference On Methods and Models in Automation and Robotics (MMAR). Miedzyzdroje, 2014: 58⁃63. [23]金英连, 程峰, 郑成伟, 等. 智能写字机器人机构与递 阶控制系统设计[ J]. 中国计量学院学报, 2009, 20 (3): 249⁃253. JIN Yinglian, CHENG Feng, ZHENG Chengwei, et al. Smart lettering robot mechanism and hierarchical control design[J]. Journal of China university of metrology, 2009, 20(3): 249⁃253. [24]满翠华, 范迅, 李成荣. 画像机器人手臂运动学研究 [J]. 起重运输机械, 2007 (3): 68⁃70. MAN Cuihua, FAN Xun, LI Chengrong. Kinematics simu⁃ lation of painting robot bionics arm[ J]. Hoisting and con⁃ veying machinery, 2007 (3): 68⁃70 [25] PLAMONDON R, DJIOUA M. A multi⁃level representa⁃ tion paradigm for handwriting stroke generation[ J]. Hu⁃ man movement science, 2006, 25(4⁃5): 586⁃607. [26]GARRIDO J, YU Wen, SORIA A. Human behavior learn⁃ ing for robot in joint space [ J]. Neurocomputing, 2015, 155: 22⁃31. [27]王党校, 张玉茹, 姚冲. 力反馈汉字书法模拟的任务规 划和逼真度评价方法[ J]. 系统仿真学报, 2006, 18 (8): 2307⁃2326. WANG Dangxiao, ZHANG Yuru, Yao Chong. Task plan⁃ ning and fidelity evaluation in force enabled Chinese calli⁃ graphy simulation system[J]. Journal of system simulation, 2006, 18(8): 2307⁃2326. [28]KIM S K, JO J,OH Y. Robotic handwriting: Multi⁃contact manipulation based on Reactional Internal Contact Hypoth⁃ esis[C] / / Proceedings of IEEE/ RSJ International Confer⁃ ence on Intelligent Robots and Systems (IROS 2014). Chi⁃ cago, IL, 2014: 877⁃884. [29] TSUMUGIWA T, YOKOGAWA R, KHARA R. Variable impedance control based on estimation of human arm stiff⁃ ness for human⁃robot cooperative calligraphic task [ C] / / Proceedings of IEEE International Conference on Robotics and Automation. Washington, DC, USA, 2002: 644⁃650. [ 30 ] POTKONJAK V. Robotic handwriting: Why and how ·24· 智 能 系 统 学 报 第 11 卷