第5章单词与词组的处理与分析 5.2.1典型的自动分词方法 5.2.1.1正向最大匹配法和逆向最大匹配法 正向最大匹配法是最早提出的自动分词方法,它的基本思想是先取一句话 的前六个字查字库,若不是一个词,则删除六个字的最后一个字再查,这样一直 查下去,至找到一个词为止。句子剩余部分重复此工作,直到把所有的词都分 出为止。逆向最大匹配法也一样,每次匹配不成功时去掉汉字串中最前面的一 个字。 两法思路清晰,易于计算机实现,但由于试图用相对稳定的词表来代替灵 活多变,充满活力的词汇,把词库搜索作为判词的唯一标准,因而具有很大的 主观性和局限性。另外,这两种方法实际上否认了语言中的歧义现象 在实际应用中,方法有所变化。如下述算法我们初始不是取六个字而是取长 度最短词的个数。第 5 章 单词与词组的处理与分析 5. 2 . 1 典型的自动分词方法 5 . 2 . 1 . 1 正向最大匹配法和逆向最大匹配法 正向最大匹配法是最早提出的自动分词方法, 它的基本思想是先取一句话 的前六个字查字库, 若不是一个词, 则删除六个字的最后一个字再查, 这样一直 查下去, 至找到一个词为止。句子剩余部分重复此工作, 直到把所有的词都分 出为止。逆向最大匹配法也一样, 每次匹配不成功时去掉汉字串中最前面的一 个字。 两法思路清晰, 易于计算机实现, 但由于试图用相对稳定的词表来代替灵 活多变, 充满活力的词汇, 把词库搜索作为判词的唯一标准, 因而具有很大的 主观性和局限性。另外, 这两种方法实际上否认了语言中的歧义现象。 在实际应用中, 方法有所变化。如下述算法我们初始不是取六个字而是取长 度最短词的个数