python爬虫学习基础教程，批量抓取美女图片！

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫学习基础教程，批量抓取美女图片！，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1802字，纯文字阅读大概需要3分钟。

内容图文

python的抓取功能其实是非常强大的，当然不能浪费，呵呵。下面就与大家分享一个python写的美女图自动抓取程序吧！

其中用到urllib2模块和正则表达式模块。下面直接上代码：

 1 用python批量抓取美女图片
 2  
 3 #!/usr/bin/env python
 4 #-*- coding: utf-8 -*-
 5 #通过urllib(2)模块下载网络内容
 6 import urllib,urllib2,gevent
 7 #引入正则表达式模块，时间模块
 8 import re,time
 9 from gevent import monkey
10  
11 '''
12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun，934109170，群里有不错的学习教程、开发工具与电子书籍。
13 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。
14 '''
15 monkey.patch_all()
16  
17 def geturllist(url):
18     url_list=[]
19     print url       
20     s = urllib2.urlopen(url)
21     text = s.read()
22     #正则匹配，匹配其中的图片
23     html = re.search(r'<ol.*</ol>', text, re.S)
24     urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
25     for i in urls:
26         url=i.group(1).strip()+str("jpg")
27         url_list.append(url)
28     return url_list
29  
30 def download(down_url):
31     name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
32     print name
33     urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
34  
35 def getpageurl():
36     page_list = []
37     #进行列表页循环
38     for page in range(1,700):
39         url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
40         #把生成的url加入到page_list中
41         page_list.append(url)
42     print page_list
43     return page_list
44 if __name__ == '__main__':
45     jobs = []
46     pageurl = getpageurl()[::-1]
47     #进行图片下载
48     for i in pageurl:
49         for (downurl) in geturllist(i):
50             jobs.append(gevent.spawn(download, downurl))
51     gevent.joinall(jobs)

程序不长才45行，不是太难，大家可以研究下，这里我只是抛砖引玉，大家可以根据原理开发出其他的抓取程序，呵呵，自己想去吧。。

内容总结

以上是互联网集市为您收集整理的python爬虫学习基础教程，批量抓取美女图片！全部内容，希望文章能够帮你解决python爬虫学习基础教程，批量抓取美女图片！所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---