Python数据挖掘-中文分词

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python数据挖掘-中文分词，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1374字，纯文字阅读大概需要2分钟。

内容图文

将一个汉字序列切分成一个一个单独的词

安装分词模块： pip install jieba

分词在特殊场合的实用性，调用add_word()，把我们要添加的分词加入jieba词库

高效方法：将txt保存的词库一次性导入用户词库中

import jieba
jieba.load_userdict("D:\\Python\\Python数据挖掘\\Python数据挖掘实战课程课件\\2.2\\金庸武功招式.txt")

1、搭建语料库

import os
import os.path
import codecs

filePaths=[]
fileContents=[]
for root,dirs,files in os.walk("D:\\Python\\Python数据挖掘\\Python数据挖掘实战课程课件\\2.2\\SogouC.mini\\Sample"):
    for name in files:
        filePath=os.path.join(root,name)
        filePaths.append(filePath)
        f=codecs.open(filePath,"r","utf-8")
        fileContent=f.read()
        f.close()
        fileContents.append(fileContent)
        
import pandas
corpos=pandas.DataFrame({
                         "filePath":filePaths,
                         "fileContent":fileContents})

2、介绍分词来自哪篇文章

import jieba

segments=[]
filePaths=[]
for index,row in corpos.iterrows():   #这样遍历得到的行是一个字典，row()是一个字典
    filePath=row["filePath"]
    fileContent=row["fileContent"]
    segs=jieba.cut(fileContent)   #调用cut方法对文件内容进行分词
    for seg in segs:
        segments.append(seg)
        filePaths.append(filePath)
        
segmentDataFrame=pandas.DataFrame({
                                   "segment":segments,
                                   "filepath":filePaths})

使用数据框的遍历方法，得到语料库中的每行数据，列名作为key

查了一下相关iterrows()的资料；

iterrows()返回值为元组,(index,row) 
上面的代码里，for循环定义了两个变量，index，row，那么返回的元组，index=index，row=row. 

内容总结

以上是互联网集市为您收集整理的Python数据挖掘-中文分词全部内容，希望文章能够帮你解决Python数据挖掘-中文分词所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端