Python 爬虫批量下载美女图片,给枯燥的工作添加点乐趣!
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python 爬虫批量下载美女图片,给枯燥的工作添加点乐趣!,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1487字,纯文字阅读大概需要3分钟。
内容图文
![Python 爬虫批量下载美女图片,给枯燥的工作添加点乐趣!](/upload/InfoBanner/zyjiaocheng/719/c40bcd3320824adc8e918f410d69a621.jpg)
背景:
最近部门领导交给笔者一个爬取百度关键词排名的任务。写好了基本功能,能不能正常使用呢?于是乎,有了本文,爬取一些美女图片,一来可以检验下爬虫效果;二来呢,也可以养养眼,给工作增加点乐趣不是,哈哈。废话少说,这就是要抓取的图片了,很养眼吧。直接上代码 地址:http://www.win4000.com/meitu.html
环境:(请读者自行配置)
Python3
urllib3
BeautifulSoup
requests
请读者自行查看审查元素,以确定抓取目标,完全生搬硬套,可能出问题
源代码:
download_meinv.py
import os
from urllib.parse import urlparse #应该是urllib3模块带来的,如果不是的话,之后在使用的过程在根据报错信息进行解决吧
from bs4 import BeautifulSoup
import requests
'''导入模块时先导入系统库,在导入第三方库'''
'''爬取美女网站首页的所有照片'''
r = requests.get('http://www.win4000.com/meitu.html')
soup = BeautifulSoup(r.text,'html.parser')
img_list = []
for img in soup.select('img'):
if img.has_attr('alt'):
if img.has_attr('data-original'):
img_list.append((img.attrs['alt'],img.attrs['data-original']))
else:
img_list.append((img.attrs['alt'],img.attrs['src']))
image_dir = os.path.join(os.curdir,'meinv')
if not os.path.isdir(image_dir):
os.mkdir(image_dir)
for img in img_list:
name = img[0] + '.' + 'jpg'
o = urlparse(img[1])
filepath = os.path.join(image_dir,name)
url = '%s://%s/%s' % (o.scheme,o.netloc,o.path[1:].replace('_250_350','')) #下载原图
print(url)
resp = requests.get(url)
with open(filepath,'wb') as f:
for chunk in resp.iter_content(1024): #如果图片太大,以1024字节为单位下载
f.write(chunk)
内容总结
以上是互联网集市为您收集整理的Python 爬虫批量下载美女图片,给枯燥的工作添加点乐趣!全部内容,希望文章能够帮你解决Python 爬虫批量下载美女图片,给枯燥的工作添加点乐趣!所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。