首页 / PYTHON / Python采集腾讯新闻实例
Python采集腾讯新闻实例
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python采集腾讯新闻实例,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含4277字,纯文字阅读大概需要7分钟。
内容图文
![Python采集腾讯新闻实例](/upload/InfoBanner/zyjiaocheng/436/eb66a43f38cf4e308db9576f6c9ea729.jpg)
接下来分解目标,一步一步地做。
步骤1:将主页上所有链接爬取出来,写到文件里。
python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。
代码如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
我们都知道html链接的标签是“a”,链接的属性是“href”,也就是要获得html中所有tag=a,attrs=href 值。
查阅了资料,一开始我打算用HTMLParser,而且也写出来了。但是它有一个问题,就是遇到中文字符的时候无法处理。
代码如下:
class parser(HTMLParser.HTMLParser):
def handle_starttag(self, tag, attrs):
if tag == 'a':
for attr, value in attrs:
if attr == 'href':
print value
后来使用了SGMLParser,它就没有这个问题。
代码如下:
class URLParser(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href = [v for k,v in attrs if k=='href']
if href:
self.urls.extend(href)
SGMLParser针对某个标签都需要重载它的函数,这里是把所有的链接放到该类的urls里。
代码如下:
lParser = URLParser()#分析器来的
socket = urllib.urlopen("http://news.qq.com/")#打开这个网页
fout = file('urls.txt', 'w')#要把链接写到这个文件里
lParser.feed(socket.read())#分析啦
reg = 'http://news.qq.com/a/.*'#这个是用来匹配符合条件的链接,使用正则表达式匹配
pattern = re.compile(reg)
for url in lParser.urls:#链接都存在urls里
if pattern.match(url):
fout.write(url+'\n')
fout.close()
这样子就把所有符合条件的链接都保存到urls.txt文件里了。
步骤2:对于每一个链接,获取它的网页内容。
很简单,只需要打开urls.txt文件,一行一行地读出来就可以了。
也许这里会显得多此一举,但是基于我对解耦的强烈愿望,我还是果断地写到文件里了。后面如果采用面向对象编程,重构起来是十分方便的。
获取网页内容部分也是相对简单的,但是需要把网页的内容都保存到一个文件夹里。
这里有几个新的用法:
代码如下:
os.getcwd()#获得当前文件夹路径
os.path.sep#当前系统路径分隔符(是这个叫法吗?)windows下是“\”,linux下是“/”
#判断文件夹是否存在,如果不存在则新建一个文件夹
if os.path.exists('newsdir') == False:
os.makedirs('newsdir')
#str()用来将某个数字转为字符串
i = 5
str(i)
有了这些方法,将字符串保存到某个文件夹下不同的文件就不再是一件困难的事了。
步骤3:枚举每一个网页,根据正则匹配获得目标数据。
下面的方法是用来遍历文件夹的。
代码如下:
#这个是用来遍历某个文件夹的
for parent, dirnames, filenames in os.walk(dir):
for dirname in dirnames
print parent, dirname
for filename in filenames:
print parent, filename
遍历,读取,匹配,结果就出来了。
我使用的数据提取的正则表达式是这样的:
代码如下:
reg = '
(.*?)
.*?(.*?).*?(.*?).*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)其实这个并不能匹配到腾讯网的所有新闻,因为上面的新闻有两种格式,标签有一点差别,所以只能提取出一种。
另外一点就是通过正则表达式的提取肯定不是主流的提取方法,如果需要采集其他网站,就需要变更正则表达式,这可是一件比较麻烦的事情。
提取之后观察可知,正文部分总是会参杂一些无关信息,比如“
内容总结
以上是互联网集市为您收集整理的Python采集腾讯新闻实例全部内容,希望文章能够帮你解决Python采集腾讯新闻实例所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。