第5章单词与词组的处理与分析 5.2自动分词 汉语自动分词是我国计算机科学研究的重要课题之一,它是自然语言理 解、自动翻译、电子词典等信息处理的基础性工件。所谓分词,就是要把 句话,一篇文章甚至一部著作中的词语逐个逐个的切分出来。汉语不象拼音 文字那样有自然切分标志,而且词语长短不一,词语的定义也不统一,语言 学中对词的定义多种多样,造成切分的多样性,这也自然给自动分词的同一性 带来很大困难。汉语中词语本身的词素、词、词组无明显的区分界限,没有 一个统一的标准许多东西都是凭经验和语感来划分。这项工作如果全部交 给计算机来作,就没有那么简单了。 尽管计算机自动分词在诸多方面存在着许多困难,但是由于自动分词是 许多应用工作的第一步(也是自动翻译的第一步,这就促进了研究的持续不断, 提出了不少方法,它们各有优缺点,也可能是基于特定环境的。第 5 章 单词与词组的处理与分析 5 . 2 自动分词 汉语自动分词是我国计算机科学研究的重要课题之一, 它是自然语言理 解、自动翻译、电子词典等信息处理的基础性工件。所谓分词, 就是要把一 句话, 一篇文章甚至一部著作中的词语逐个逐个的切分出来。汉语不象拼音 文字那样有自然切分标志, 而且词语长短不一, 词语的定义也不统一, 语言 学中对词的定义多种多样, 造成切分的多样性, 这也自然给自动分词的同一性 带来很大困难。汉语中词语本身的词素、词、词组无明显的区分界限, 没有 一个统一的标准, 许多东西都是凭经验和语感来划分。.这项工作如果全部交 给计算机来作, 就没有那么简单了。 尽管计算机自动分词在诸多方面存在着许多困难, 但是由于自动分词是 许多应用工作的第一步(也是自动翻译的第一步), 这就促进了研究的持续不断, 提出了不少方法, 它们各有优缺点, 也可能是基于特定环境的