将一个汉字序列切分成一个一个单独的词 安装分词模块： pip install jieba 分词在特殊场合的实用性，调用add_word()，把我们要添加的分词加入jieba词库 高效方法：将txt保存的词库一次性导入用户词库中 import jieba jieba.load_userdict("D:\\Python\\Python数据挖掘\\Python数据挖掘实战课程课件\\2.2\\金庸武功招式.txt") 1、搭建语料库import os import os.path import codecsfilePaths=[] fileContents=[] for root,dir...
Python爬虫-2018年-我破解天眼查和启信宝企业数据爬虫--破解反爬技术那些事情 最近在自己用python+mongdb写了一套分布式多线程的天眼查爬虫系统，实现了对天眼查整个网站的全部数据各种维度的采集和存储，并且根据天眼查网页的数据结构建立了19个表来存储19个维度的数据，很多做技术的朋友在爬天眼查的时候会遇到以下几个问题，我把我的经历和解决方案分享给大家。（需要爬虫技术交流的朋友欢迎加我qq：2779571288） 1、天眼查和...
概念： 词云：词云是指对文本中词频较高的分词，给予视觉上的突出，形成“关键词渲染”，从而过滤掉大量的文本信息，使浏览者一眼扫过就可以领略文本的主旨。需要用到的包：wordcloud、matplotlib wordcloud包下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/ #绘制词云 from wordcloud import WordCloud import matplotlib.pyplot as pltwordcloud = WordCloud(font_path='D:\\PDM\\2.4\\simhei.ttf', background_color="bl...