python sklearn CountVectorizer的使用及相关说明

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python sklearn CountVectorizer的使用及相关说明，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1785字，纯文字阅读大概需要3分钟。

内容图文

最近想用python对数据集进行数据预处理，想要分析系统调用之间的关系。初步想法是利用n-gram方法，因此查询到了python的sklearn中有一个CountVectorizer方法可以使用，在这里介绍一下这个函数的使用方法，以及其输出的相关含义。

0x01 输入及输出

from sklearn.feature_extraction.text import CountVectorizer
# from sklearn.feature_extraction.text import TfidfTransformer
import pandas as pd

data = ['I love you', 'you are my angle are']


vecl = CountVectorizer(ngram_range=(1, 1), binary=False, token_pattern='\w{1,}')
xl = vecl.fit_transform(data)
print(vecl.get_feature_names())  # 特征名称
print(vecl.vocabulary_)             # 特征在列表中的索引位置
X = vecl.fit_transform(data)
print(X)
df = pd.DataFrame(X.toarray(), columns=vecl.get_feature_names()) # to DataFrame
print(df.head())

首先调用CountVectorizer方法，其中的几个参数意义如下：

ngram_range：（1,1）表示1-gram （2,2）表示2-gram   （1,2）表示1-gram + 2-gram

binary：FALSE表示不将文本进行二进制表示

token_pattern：通过正则表达式来确定哪些数据被过滤掉，默认情况下单个英文字母会被过滤掉，代码中的\w{1,}可以避免这种情况

fit_transform(data) 用来对数据进行处理，表示成n-gram的形式

get_feature_names()来获取都获取了哪特征

vocabulary_用来表示特征在get_feature_names()中的列表中的位置

调用pandas库主要用于将特征以及生成的稀疏矩阵用表的形式展现出来

以下为输出结果：

图中第一行为获取的特征

第二行为各个特征的索引号，例如‘i’：2 表示字符i在特征表中的索引为2

第三部分为稀疏矩阵 正常的输出矩阵如下面的一部分所示， （0,2） 1  表示在全部矩阵的第0行第2列有数据1 在稀疏矩阵中没有表示的索引全部为0

第四部分为全部矩阵 最左侧的一列表示文本的索引号，0表示第一个文本 'I love you'   1表示'you are my angle are'

再看第二列 angle在0行值为0，在1行值为1 表示angle在一个文本中没有出现，在第二个文本中出现了一次

同理 第二列表示are在第一个文本中没有出现，在第二个文本中出现了两次。

内容总结

以上是互联网集市为您收集整理的python sklearn CountVectorizer的使用及相关说明全部内容，希望文章能够帮你解决python sklearn CountVectorizer的使用及相关说明所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端