首页 / PYTHON / 【Python自然语言处理】中文分词技术——规则分词

【Python自然语言处理】中文分词技术——规则分词

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【Python自然语言处理】中文分词技术——规则分词，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3281字，纯文字阅读大概需要5分钟。

内容图文

中文分词方法

本文参考自书籍《Python自然语言处理实战：核心技术与算法》
用做个人的学习笔记和分享

1. 规则分词

规则分词是一种机械分词方法，主要通过维护词典，在切分语句时将语句的每个字符串和词表中的词逐一匹配找到则切分，找不到则不切分。
具体包括正向最大匹配法、逆向最大匹配法和双向最大匹配法

1.1 正向最大匹配法

1.1.1 算法描述

①从左向右取待切分汉语句的m 个字符作为匹配字段， m 为机器词典中最长词条的
字符数。
②查找机器词典并进行匹配。
若匹配成功， 则将这个匹配字段作为一个词切分出来。
若匹配不成功，则将这个匹配宇段的最后一个字去掉，剩下的字符串作为新的匹配字段， 进行再次匹配。
③重复以上过程，直到切分出所有词为止。

1.1.2 算法实现

# 正向最大匹配
class MM(object):
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        size = self.maximum
        text_len = len(text)
        while text_len > 0:
            word = text[0:size]
            while word not in self.dictionary:
                if len(word) == 1:
                  break
                word = word[0:len(word) - 1]
            result.append(word)
            text = text[len(word):]
            text_len = len(text)
        return result

if __name__ == '__main__':
    text = "南京市长江大桥"
    tokenizer = MM('dic.utf8')
    print(tokenizer.cut(text))

注：dic.utf8文件是自定义的词典文件
这个词典包括一下词汇：
南京市
南京市长
长江大桥
人名解放军
大桥

1.2 逆向最大匹配法

1.2.1 算法描述

①从被处理文挡的末端开始匹配扫描
②每次取最末端i个字符（ i 为词典中最长词数）作为匹配字段
若匹配失败，则去掉匹配字段最前面的一个字，继续匹配。
若匹配成功则保存字段，它使用的分词词典是逆序词典， 其中的每个词条都将按逆序方式存放。
③在实际处理时，可以先将文档进行倒排处理成逆序文档。然后根据逆序词典，对逆序文档用正向最大匹配法处理即可。

由于汉语中偏正结构较多，若从后向前匹配，可以适当提高精确度。所以，逆向最大匹配法比正向最大匹配法的误差要小。
统计结果表明，单纯使用正向最大匹配的错误率为1/169 ，单纯使用逆向最大匹配的错误率为1/245

1.2.2 算法实现

# 逆向最大匹配
class IMM(object):
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            word = None
            for size in range(self.maximum, 0, -1):
                if index - size < 0:
                    continue
                piece = text[(index - size):index]
                if piece in self.dictionary:
                    word = piece
                    result.append(word)
                    index -= size
                    break
            if word is None:
                index -= 1
        return result[::-1]

if __name__ == '__main__':
    text = "南京市长江大桥"
    tokenizer = IMM('dic.utf8')
    print(tokenizer.cut(text))

1.3 双向最大匹配法

1.3.1 算法描述

将正向最大匹配法得到的分词结果和逆向最大匹配法得到的结果进行比较
按照最大匹配原则，选取词数切分最少的作为结果。

双向匹配法被广泛应用
据SunM.S. 和Bejamin K.T. ( 1995 ）的研究表明，中文中90.0% 左右的句子，正向最大匹配法和逆向最大匹配法完全重合且正确，只有大概9.0% 的句子两种切分方法得到的结果不一样，但其中必有一个是正确的（歧义检测成功），只有不到1.0%的句子，使用正向最大匹配法和逆向最大匹配法的切分虽重合却是错的，或者正向最大匹配法和逆向最大匹配法切分不同但两个都不对（歧义检测失败） 。

2. 统计分词

【未完待续】

3. 混合分词

【未完待续】

XD1998 发布了8 篇原创文章 · 获赞 0 · 访问量 1125 私信 关注

内容总结

以上是互联网集市为您收集整理的【Python自然语言处理】中文分词技术——规则分词全部内容，希望文章能够帮你解决【Python自然语言处理】中文分词技术——规则分词所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/640236.html

来源：【匿名】