爬虫小试--用python中requests和urllib模块爬取图片

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫小试--用python中requests和urllib模块爬取图片，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1376字，纯文字阅读大概需要2分钟。

内容图文

今天突发奇想小试爬虫,获取一下某素材站一些图片

实现步骤如下:

import re
import requests
from urllib import request
import os

# 1.首先要检查数据是否是动态加载出来的
# 2.获取页面源码数据
if not os.path.exists('tupian'):
    os.mkdir('tupian')
headers = {
   "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
url = "http://sc.chinaz.com/tupian/bingxueshijie.html"
page = requests.get(url=url, headers=headers) 
page.encoding='utf8'  # 先解决乱码问题
page_text=page.text  # .text拿到html文本

ex = '<div class="box picblock col3".*?src2="(.*?)".*?</p>.*?</div>'  
img_url_list = re.findall(ex, page_text, re.S)  # 正则匹配

for img_url in img_url_list:
    img_path = 'tupian/' + img_url.split("/")[-1]  # 本地存放的文件路径
    
    request.urlretrieve(url=img_url, filename=img_path)
    print(img_path , "获取成功")

结果:

tupian/bpic9987_s.jpg 获取成功
tupian/bpic9944_s.jpg 获取成功
tupian/zzpic15470_s.jpg 获取成功
tupian/hpic428_s.jpg 获取成功
... 
# 还有一大推就不罗列了

期间遇到一点小坑, 此网站非常的鸡贼, 在网页点检查看到的前端代码并不是真正请求获得的, 而是请求发过去后前端对一些细节做了处理, 所以写正则匹配那一部分的时候不能参照网页检查现实的html

解决办法就是先发请求获得真正请求得到的html文本, 即page_text=page.text   .text拿到html文本, 参照真正请求获得的文本写正则,  如此即可

还有一个小坑就是乱码问题, page.encoding='utf8' 即可解决

　

 

内容总结

以上是互联网集市为您收集整理的爬虫小试--用python中requests和urllib模块爬取图片全部内容，希望文章能够帮你解决爬虫小试--用python中requests和urllib模块爬取图片所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---