首页 / PYTHON / 【Python】用Python的“结巴”模块进行分词

【Python】用Python的“结巴”模块进行分词

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【Python】用Python的“结巴”模块进行分词，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含893字，纯文字阅读大概需要2分钟。

内容图文

            之前都是用计算所的分词工具进行分词，效果不错可是比較麻烦，近期開始用Python的“结巴”模块进行分词，感觉很方便。这里将我写的一些小程序分享给大家，希望对大家有所帮助。

以下这个程序是对一个文本文件中的内容进行分词的程序：test.py 

#!/usr/bin/python
#-*- encoding:utf-8 -*-
import jieba                                                    #导入jieba模块

def splitSentence(inputFile, outputFile):
    fin = open(inputFile, 'r')                                  #以读的方式打开文件
    fout = open(outputFile, 'w')                                #以写得方式打开文件

    for eachLine in fin:
        line = eachLine.strip().decode('utf-8', 'ignore')       #去除每行首尾可能出现的空格，并转为Unicode进行处理
        wordList = list(jieba.cut(line))                        #用结巴分词，对每行内容进行分词
        outStr = ''
        for word in wordList:
            outStr += word
            outStr += '/ '
        fout.write(outStr.strip().encode('utf-8') + '\n')       #将分词好的结果写入到输出文件
    fin.close()
    fout.close()

splitSentence('myInput.txt', 'myOutput.txt')

写完程序之后，在Linux重点输入：python test.py就可以执行程序进行分词。


输入的文件内容例如以下所看到的：

技术分享

经过结巴分词后，输出结果例如以下所看到的：

技术分享


注意：第11行的 jieba.cut()返回的结构是一个可迭代的generator，能够用list(jieba.cut(...))转化为list



原文：http://www.cnblogs.com/gcczhongduan/p/4197247.html

内容总结

以上是互联网集市为您收集整理的【Python】用Python的“结巴”模块进行分词全部内容，希望文章能够帮你解决【Python】用Python的“结巴”模块进行分词所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1177756.html

来源：【匿名】