Python爬虫(5) 借助搜狗搜索爬取微信文章
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫(5) 借助搜狗搜索爬取微信文章，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5227字，纯文字阅读大概需要8分钟。
内容图文
借助搜狗搜索爬取微信文章
from urllib import request as r
import re as e
from urllib import error as o
import time as t
#模拟成浏览器
headers = {"User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2767.400"}
opener = r.build_opener()
opener.addheaders = [headers]
#将opener安装为全局
r.install_opener(opener)
#设置一个列表listurl存储文章网址列表
listurl = []
#自定义函数，功能为使用代理服务器
def use_proxy(proxy_addr,url):
#建立异常处理机制
try:
proxy = r.ProxyHandler({'http':proxy_addr})
opener = r.build_opener(proxy,r.HTTPHandler)
r.install_opener(opener)
data = r.urlopen(url).read().decode('utf-8')
return data
except o.URLError as u:
if hasattr(u,'code'):
print(u.code)
if hasattr(u,'reason'):
print(u.reason)
#若为URLError异常，延迟10秒执行
t.sleep(10)
except Exception as x:
print('Exception:'+str(x))
#若为Exception异常，延迟1秒执行
t.sleep(1)
#获得所有文章链接
def getlisturl(key,pagestart,pageend,proxy):
try:
page = pagestart
#编码关键字key
keycode = r.quote(key)
#编码 &page
# pagecode = r.quote("&page")
#循环抓取各页面链接
for page in range(pagestart,pageend+1):
#分别构建各页面的url
url = "http://weixin.sogou.com/weixin?type=2&query="+keycode+"&page="+str(page)
#用代理服务器爬取，解决IP封杀问题
data1 = use_proxy(proxy,url)
#获取文章链接的正则表达式
listurlpat = '<div class="txt-box">.*?(http://.*?)"'
listurlpat = 'href="(http://.*?)"'
#获取每页的所有文章链接并添加到列表listurl中
d = e.compile(listurlpat,e.S).findall(data1)
listurl.append(d)
#测试代码
print("共获得到"+str(len(listurl))+"页")
return listurl
except o.URLError as u:
if hasattr(u,'code'):
print(u.code)
if hasattr(u,'reason'):
print(u.reason)
#若为URLError异常，延迟10秒执行
t.sleep(10)
except Exception as x:
print('Exception:'+str(x))
#若为Exception异常，延迟1秒执行
t.sleep(1)
#通过文章链接获取对应内容
def getcontent(listurl,proxy):
i = 0
#设置本地文件中的开始html编码
html1='''<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; chatset=utf-8" />
<title>微信文章页面</title>
</head>
<body>'''
fh = open("G:\\Pcode\\1.html","wb")
fh.write(html1.encode("utf-8"))
fh.close()
#再次以最佳写入的方式打开文件，以写入对应文章内容
fh = open("G:\\Pcode\\1.html","ab")
#此时listurl为二维列表，形如listurl[][]，第一纬存储的信息跟第几页相关，第二纬存储的跟该页面第几个文章链接相关
for i in range(0,len(listurl)):
for j in range(0,len(listurl[i])):
try:
url = listurl[i][j]
#处理成真实url，可以观察对应网址的关系自行分析，采集网址比真实网址多了一串amp
url = url.replace("amp;","")
#使用代理去爬取对应网址的内容
data = use_proxy(proxy,url)
#文章标题正则表达式
titlepat = "<title>(.*?)</title>"
#文章内容正则表达式
contentpat = 'id="js_content">(.*?)id="js_sg_bar"'
#通过对应正则表达式找到标题并赋给列表title
title = e.compile(titlepat).findall(data)
#通过对应正则表达式找到内容并赋给列表content
content = e.compile(contentpat,e.S).findall(data)
#初始化标题与内容
thistitle = "此次没有获取到"
thiscontent = "此次没有获取到"
#如果标题列表不为空，说明找到了标题，取列表第0个元素，即此次标题赋给变量thistitle
if(title != []):
thistitle = title[0]
if(content != []):
thiscontent = content[0]
#将标题与内容汇总赋给变量dataall
dataall = "<p>标题为："+thistitle+"</p><p>内容为："+thiscontent+"</p><br/>"
#将该篇文章的标题与内容的总信息写入对应文件
fh.write(dataall.encode('utf-8'))
print(" 第 "+str(i+1)+"个网页第"+str(j+1)+" 次处理 ") #便于调试
except o.URLError as u:
if hasattr(u, 'code'):
print(u.code)
if hasattr(u, 'reason'):
print(u.reason)
# 若为URLError异常，延迟10秒执行
t.sleep(10)
except Exception as x:
print('Exception:' + str(x))
# 若为Exception异常，延迟1秒执行
t.sleep(1)
fh.close()
#设置并写入本地文件的html后面结束部分代码
html2='''</body>
</html>'''
fh = open("G:\\Pcode\\1.html","ab")
fh.write(html2.encode("utf-8"))
fh.close()
#设置关键字
key = "物联网"
#设置代码服务器，该代理服务器有可能失效
proxy = '119.101.113.217:9999'
#可以为getlisturl()与getcontent()设置不同的代理服务器，此处没有启用该项设置
proxy2 = ''
#起始页
pagestart = 1
#终止页
pageend = 2
listurl = getlisturl(key,pagestart,pageend,proxy)
getcontent(listurl,proxy)
内容总结
以上是互联网集市为您收集整理的Python爬虫(5) 借助搜狗搜索爬取微信文章全部内容，希望文章能够帮你解决Python爬虫(5) 借助搜狗搜索爬取微信文章所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。