【学习笔记】python爬取百度真实url
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了【学习笔记】python爬取百度真实url，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1772字，纯文字阅读大概需要3分钟。
内容图文
今天跑个脚本需要一堆测试的url，，，挨个找复制粘贴肯定不是程序员的风格，so，还是写个脚本吧。
环境：python2.7
编辑器：sublime text 3
一、分析一下
首先非常感谢百度大佬的url分类非常整齐，都在一个类下
650) this.width=650;" src="/upload/getfiles/default/2022/11/5/20221105094416540.jpg" title="QQ截图20170908143211.png" />即c-showurl,所以只要根据css爬取链接就可以，利用beautifulsoup即可实现，代码如下：
soup = BeautifulSoup(content,‘html.parser‘)
urls = soup.find_all("a",class_=‘c-showurl‘)
还有另外的一个问题是百度对url进行了加密，要想获得真实的url，我的思路是访问一遍加密的url，再获得访问界面的url，这时获取到的url即为真实的url。
完整代码如下：
#coding = utf-8
import requests
from bs4 import BeautifulSoup
import time
headers = {
‘Accept‘:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8‘,
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 QIHU 360SE‘
}
page_start = raw_input(‘please input stratpage\n‘)
page_end = raw_input(‘please input endpage\n‘)
word = raw_input(‘please input keyword\n‘)
if page_start == 1:
page_start = 0
else:
page_start = (int(page_start)-1)*10
page_end = (int(page_end)-1)*10
for i in range(page_start,page_end,10):
url = ‘http://www.baidu.com/s?wd=‘+word+‘&pn=‘+str(i)
try:
response = requests.get(url,headers=headers,timeout=10)
print ‘downloading...‘+url
content = response.content
soup = BeautifulSoup(content,‘html.parser‘)
urls = soup.find_all("a",class_=‘c-showurl‘)
for href in urls:
a = href[‘href‘]
try:
res = requests.get(a,headers=headers,timeout=10)
with open(‘urls.txt‘,‘a‘) as f:
f.write(res.url)
f.write(‘\n‘)
time.sleep(1)
except Exception,e:
print e
pass
except Exception,e:
print e
pass
当然，这只是简单的功能，如果爬取大量的url，建议利用线程进行处理，不然等到爬完也等到地老天荒了。。。。。我是爬取百十来个url，亲测还可以。
本文出自 “踟蹰” 博客，请务必保留此出处http://chichu.blog.51cto.com/11287515/1963693
原文：http://chichu.blog.51cto.com/11287515/1963693
内容总结
以上是互联网集市为您收集整理的【学习笔记】python爬取百度真实url全部内容，希望文章能够帮你解决【学习笔记】python爬取百度真实url所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。