聚类分析算法对文本分类之分词和构建词袋模型

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了聚类分析算法对文本分类之分词和构建词袋模型，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4461字，纯文字阅读大概需要7分钟。

内容图文

    聚类分析是一种无监督机器学习（训练样本的标记信息是未知的）算法，它的目标是将相似的对象归到同一个簇中，将不相似的对象归到不同的簇中。如果要使用聚类分析算法对一堆文本分类，一般需要确定几个关键的问题：

（1）      怎样来判断两个对象的相似与否

（2）      怎样权衡比较几个算法的优劣

（3）      如何确定分类的个数

（4）      需要选择哪种算法

对于第一个问题，判断中文文本相似与否那必须通过分词、构建词袋模型、权值转换等步骤，本篇小文主要围绕分词和构建词袋模型进行分析，先介绍在聚类前需要掌握的一些基础的理论。

1 基础理论

（1）余弦相似度

       对多维向量A=(A1，A2，……,An)，B=(B1，B2，……,Bn)，余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体差异的大小。相比欧氏距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上的差异。余弦值的计算公式如下：

相对于欧氏距离，余弦相似度更适合计算文本的相似度。首先将文本转换为权值向量，通过计算两个向量的夹角余弦值，就可以评估他们的相似度。余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量方向越接近；越趋近于-1，代表他们的方向越相反。为了方便聚类分析，我们将余弦值做归一化处理，将其转换到[0,1]之间，并且值越小距离越近

（2）性能度量

在选择聚类算法之前，首先来了解什么样的聚类结果是比较好的。我们希望同一个簇内的样本尽可能相似，不同簇的样本尽可能不同，也就是说聚类结果的“簇内相似度”高且“簇间相似度”低。

DB指数（Davies-Bouldin Index，DBI）

Dumn指数（Dumn Index，DI）

DB指数的计算方法是任意两个簇内样本的平均距离之和除以两个簇的中心点距离，并取最大值，DBI的值越小，意味着簇内距离越小，同时簇间的距离越大；Dumn指数的计算方法是任意两个簇的最近样本间的距离除以簇内样本的最远距离的最大值，并取最小值，DI的值越大，意味着簇间距离大而簇内距离小。因此，DBI的值越小，同时DI的值越大，意味着聚类的效果越好。

2具体应用

以一个具体需求为例，现有一个业务系统需要对收集的一些公司名数据进行处理，由于当时收录时杂乱无章，存在数据重复、信息不规范、错别字等现象；需要对数据进行分析归类，将相同或相似的数据划到一起，再通过人工审核规范数据，最终形成规范的字典数据。

（1）分词

要对中文文本做聚类分析，首先要对文本做分词处理，例如“联想移动通信科技有限公司”，我们希望将其切分为“联想移动通信科技有限公司”。Python提供专门的中文切词工具“jieba”，它可以将中文长文本划分为若干个单词。

    为了提高分类的准确率，还要考虑两个干扰因素：一是英文字母大小写的影响，为此我们将英文字母统一转换为大写；二是例如“有限” “公司”等通用的词汇，我们将这样的词汇连同“（）”、“-”、“/”、“&”等符号作为停用词，将其从分词结果中去除掉，最后得到有效的词汇组合，结果如下：

原始数据：

 分词后数据：

（2）构建词袋模型

文本被切分成单词后，需要进一步转换成向量。先将所有文本中的词汇构建成一个词条列表，其中不含重复的词条。然后对每个文本，构建一个向量，向量的维度与词条列表的维度相同，向量的值是词条列表中每个词条在该文本中出现的次数，这种模型叫做词袋模型。例如，“阿尔西集团”和“阿尔西制冷工程技术(北京)有限公司”两个文本切词后的结果是“阿尔西集团”和“阿尔西制冷工程技术北京”，它们构成的词条列表是[阿尔西, 集团, 制冷, 工程技术, 北京]，对应的词袋模型分别是[1,1,0,0,0]，[1,0,1,1,1]。

具体代码：

#1分词

import jieba as ib

# 加载停用词，这里主要是排除“有限公司”一类的通用词

def loadStopWords(fileName):

    dataMat =[]

    fr =open(fileName)

    words =fr.read()

    result =jb.cut(words, cut_all=True)

    newWords= []

    for s inresult:

        if snot in newWords:

           newWords.append(s)

   newWords.extend([u'（', u'）', '(', ')', '/', '-', '.', '-', '&'])

    returnnewWords

 

# 把文本分词并去除停用词，返回数组

def wordsCut(words, stopWordsFile):

    result =jb.cut(words)

    newWords= []

    stopWords= loadStopWords(stopWordsFile)

    for s inresult:

        if snot in stopWords:

           newWords.append(s)

    returnnewWords

 

# 把样本文件做分词处理，并写文件

def fileCut(fileName, writeFile, stopWordsFile):

    dataMat =[]

    fr =open(fileName)

    frW =open(writeFile, 'w')

    for linein fr.readlines():

       curLine = line.strip()

       curLine1 = curLine.upper()  # 把字符串中的英文字母转换成大写

       cutWords = wordsCut(curLine1, stopWordsFile)

        for iin range(len(cutWords)):

           frW.write(cutWords[i])

           frW.write('\t')

       frW.write('\n')

       dataMat.append(cutWords)

   frW.close()

 

 

# 2构建词袋模型

# 创建不重复的词条列表

defcreateVocabList(dataSet):

    vocabSet = set([])

    for document in dataSet:

        vocabSet = vocabSet | set(document)

    return list(vocabSet)

 

# 将文本转化为词袋模型

defbagOfWords2Vec(vocabList, inputSet):

    returnVec = [0] * len(vocabList)

    for word in inputSet:

        if word in vocabList:

            returnVec[vocabList.index(word)] +=1

        else:

            print "the word: %s is not inmy Vocabulary!" % word

    return returnVec

内容总结

以上是互联网集市为您收集整理的聚类分析算法对文本分类之分词和构建词袋模型全部内容，希望文章能够帮你解决聚类分析算法对文本分类之分词和构建词袋模型所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---