首页 / 爬虫 / python—爬虫

python—爬虫

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python—爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5220字，纯文字阅读大概需要8分钟。

内容图文

1.1 介绍

通过过滤和分析HTML代码，实现对文件、图片等资源的获取，一般用到：

urllib和urllib2模块
正则表达式（re模块）
requests模块
Scrapy框架

urllib库：

1）获取web页面

2）在远程http服务器上验证

3）表单提交（GET和POST）

4）异常处理（urllib2.URLError）

5）非http协议通信（ftp）

获取页面信息：

urllib2.urlopen(url,data,timeout)

构造Request

reques = URLlib.Request(url,data,headers={})

response = urllib2.urlopen(request)

response.read()

1.2 爬取图片

百度贴吧示例链接： http://tieba.baidu.com/p/4229162765

1）从网页链接源代码中查找数据，用于分析和提取url

需下载的某张图片的url：

2）脚本

#! /usr/bin/env python
import urllib,urllib2
import re
def getHtml(url):
    page = urllib2.urlopen(url)
    return page.read()
    
def getImage(html):
    re_img = re.compile(r'<img class="BDE_Image" src="(.*?)".*?')      #“（.*?）”问号表示非贪婪模式，匹配到最接近的双引号”，而不加问号则匹配到最后
    img_list = re_img.findall(html)
    i = 1
    for imgurl in img_list:
        print imgurl
        urllib.urlretrieve(imgurl,filename="%s.jpg" %i)   #urllib.urlliburlretrieve下载，不指定文件名，则保持在当前目录
        i = i+1
        
if __name__ == "__main__":
    url = "http://tieba.baidu.com/p/4229162765"
    html = getHtml(url)
    getImage(html)

运行结果：

技术分享图片

1.3 爬取文本—获取作者、内容、点赞数

糗事百科热门段子示例链接：

第一页： https://www.qiushibaike.com/

第二页： https://www.qiushibaike.com/8hr/page/2/

第三页： https://www.qiushibaike.com/8hr/page/3/

1）随机选择一个段子，审查元素，获取：作者、内容、点赞个数url位置，用于定义正常表达式

作者位置<<<<<<

技术分享图片

内容和点赞数位置<<<<<<

技术分享图片

2）>>>>>>脚本版本一：

        #!/usr/bin/env python
import urllib,urllib2
import re
page = 1
url = "https://www.qiushibaike.com/8hr/page/" +str(page)
headers = {"user-agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}  #访问正规的网站，一般需要user-agent
try:
    request = urllib2.Request(url,headers=headers)
    response = urllib2.urlopen(request)
    html = response.read()
    
except urllib2.URLError,e:
    if hasattr(e,"code"):  #抛出异常时，e表示前面的错误类；判断该类中是否有code属性，有则打印出来
        print e.code
    if hasattr(e,"reason"):
        print e.reason
        
re_page = re.compile(r'<div class="author.*?<a.*?<img.*?alt="(.*?)">.*?<div.*?<span>(.*?)</span>.*?<i class="number">(\d+)</i>',re.S)  #正则表达式，re.S表示点号可以代表换行符
items = re_page.findall(html)
for item in items:
    for i in item:
        print i

运行结果：

技术分享图片

>>>>>>>脚本版本二：

替换掉内容中网页换行符<br/>，然后去掉空格行，显示页数默认为第一页

#!/usr/bin/env python
#coding:utf-8
import urllib,urllib2
import re

def getPage(page_num=1):
    url = "https://www.qiushibaike.com/8hr/page/" +str(page_num)
    headers = {"user-agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
    try:
        request = urllib2.Request(url,headers=headers)
        response = urllib2.urlopen(request)
        html = response.read()
        return html
        
    except urllib2.URLError,e:
        if hasattr(e,"code"):
            print ("连接服务器失败，错误代码 %s" %e.code)
            return None
            
        if hasattr(e,"reason"):
            print ("连接服务器失败，错误原因 %s" %e.reason)
            return None
            
def getPageCoent(page_num=1):
    html = getPage(page_num)
    re_page = re.compile(r'<div class="author.*?<a.*?<img.*?alt="(.*?)">.*?<div.*?<span>(.*?)</span>.*?<i class="number">(\d+)</i>',re.S)
    items = re_page.findall(html)
    page_contents = []
    replaceBR = re.compile(r'<br/>')
    for item in items:
        content = item[1]
        content = replaceBR.sub('\n',content)
        page_contents.append([page_num,
                            item[0].strip(),
                            content.strip(),
                            item[2].strip()])
    return page_contents
    
if __name__ == "__main__":
   page_content = getPageCoent(1)
   for item in page_content:
       for i in item:
           print str(i) +"\n"

运行结果：

技术分享图片

>>>>>>脚本版本三：

实现交互式爬取

即每按一次enter键，显示一条段子，内容包括：页码、作者、段子内容、点赞数

#!/usr/bin/env python
#coding:utf-8
import urllib,urllib2
import re
import sys

def getPage(page_num=1):
    url = "https://www.qiushibaike.com/8hr/page/" +str(page_num)
    headers = {"user-agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
    
    try:
        request = urllib2.Request(url,headers=headers)
        response = urllib2.urlopen(request)
        html = response.read()
        return html
                
    except urllib2.URLError,e:
        if hasattr(e,"code"):
            print ("连接服务器失败，错误代码 %s" %e.code)
            return None
            
        if hasattr(e,"reason"):
            print ("连接服务器失败，错误原因 %s" %e.reason)
            return None
            
def getPageCoent(page_num=1):
    html = getPage(page_num)
    re_page = re.compile(r'<div class="author.*?<a.*?<img.*?alt="(.*?)">.*?<div.*?<span>(.*?)</span>.*?<i class="number">(\d+)</i>',re.S)
    items = re_page.findall(html)
    page_contents = []
    replaceBR = re.compile(r'<br/>')
    for item in items:
        content = item[1]
        content = replaceBR.sub('\n',content)
        page_contents.append([page_num,
                            item[0].strip(),
                            content.strip(),
                            item[2].strip()])
    return page_contents
    
def getOneStory(page_contents):
    for story in page_contents:
        input = raw_input()
        if input == "q" or input == "Q":
            sys.exit()
        print "第%d页\t发布人:%s\t赞:%s\n%s\n" %(story[0],story[1],story[3],story[2])
        
if __name__ == "__main__":
    print "正在读取段子，按回车看新段子，按(Q|q)退出"
    num = 1
    page_contents = getPageCoent(num)
    while True:
        page_contents = getPageCoent(num)
        getOneStory(page_contents)
        num += 1

运行结果：

技术分享图片

原文：http://blog.51cto.com/huangzp/2060411

内容总结

以上是互联网集市为您收集整理的python—爬虫全部内容，希望文章能够帮你解决python—爬虫所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1182419.html

来源：【匿名】

【上一篇】[爬虫] 学Scrapy，顺便把它的官方教程给爬下来【下一篇】PHP使用swoole实现多线程爬虫

更多 ►

【python—爬虫】教程文章相关的互联网学习教程文章

python爬虫scrapy之rules的基本使用【代码】

Link ExtractorsLink Extractors 是那些目的仅仅是从网页(scrapy.http.Response ' ref='nofollow'> scrapy.http.Response 对象)中抽取最终将会被follow链接的对象? Scrapy默认提供2种可用的 Link Extractor, 但你通过实现一个简单的接口创建自己定制的Link Extractor来满足需求? 每个LinkExtractor有唯一的公共方法是 extract_links ,它接收一个 Response' ref='nofollow'> Response 对象,并返回一个 scrapy.link.Link 对象?Link ...

Python爬虫之提取Bing搜索的背景图片并设置为Windows的电脑桌面【代码】【图】

??鉴于现阶段国内的搜索引擎还用不上Google, 笔者会寻求Bing搜索来代替。在使用Bing的过程中，笔者发现Bing的背景图片真乃良心之作，十分赏心悦目，因此，笔者的脑海中萌生了一个念头：能否自己做个爬虫，可以提取Bing搜索的背景图片并设置为Windows的电脑桌面呢？Bing搜索的页面如下： ??于是在一个风雨交加的下午，笔者开始了自己的探索之旅。当然，过程是曲折的，但笔者尝试着能把它讲得简单点。 ??首先，我们需要借助一些Pytho...

Python 爬虫6——Scrapy的安装和使用【代码】【图】

前面我们简述了使用Python自带的urllib和urllib2库完成的一下爬取网页数据的操作，但其实能完成的功能都很简单，假如要进行复制的数据匹配和高效的操作，可以引入第三方的框架，例如Scrapy便是比较常用的爬虫框架。一、Scrapy的安装：1.最简单的安装方式：根据官方主页的指导：http://www.scrapy.org/ 使用pip来安装python相关插件其实都很简单，当然用这个办法安装Scrapy也是最为简单的安装方式，仅需在命令行窗口...

【Python爬虫学习笔记12】Ajax数据爬取简介【图】

有时候在我们设计利用requests抓取网页数据的时候，会发现所获得的结果可能与浏览器显示给我们的不一样：比如说有的信息我们通过浏览器可以显示，但一旦用requests却得不到想要的结果。这种现象是因为我们通过requests获得的都是HTML源文档，而浏览器中见到的页面数据都是经过JavaScript处理的，而这些处理的数据可能是通过Ajax加载、本身包含于HTML中或是经过JavaScript自动生成。由Web发展趋势来看，越来越多的网页都通过Ajax加载...

python | 爬虫笔记（六）- Ajax数据爬取

request得到和浏览器数据不同数据加载是异步加载方式，原始页面不包含数据，加载完后会会再向服务器请求某个接口获取数据，然后数据再被处理才呈现到网页上，这其实就是发送了一个 Ajax 请求。这样Web 开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的压力。因此遇到这种情况，用requests模拟ajax请求6.1 Ajax 1- 介绍Ajax，全称为 Asynchronous JavaScript and XML，即异步的 JavaScript 和 XML。是利用 JavaScript 在...

python 爬虫第二个程序【代码】

#!/usr/bin/python #encoding=utf-8 import urllib2 import urllib import re import thread import time class Spider(object): def __init__(self): self.page = 1 self.pages = [] self.enable = False def Start(self): self.enable = True page = self.page thread.start_new_thread(self.LoadPage,()) while self.enable: ...

python_小爬虫【代码】

import urllib.request as request import urllib.parse as parse import string print(""" +++++++++++++++++++++++name:cphmvpversion: python3.3 +++++++++++++++++=++++""") def baidu_tieba(url, begin_page, end_page):for i in range(begin_page, end_page + 1):sName = str(i).zfill(5)+‘.html‘print(‘正在下载第‘+str(i)+‘个页面, 并保存为‘+sName)m = request.urlopen(url+str(i)).read()with open(sName,‘wb‘) ...

python爬虫模块理解【代码】

Url管理器：　　用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取，url管理器的五个最小功能:　　　　1、添加url到容器中　　　　2、获取一个url　　　　3、判断url是否已在容器中　　　　4、判断是否还有待爬取的url　　　　5、将待爬取的url移到已爬取的url网页下载器：　　网页下载器是爬虫的核心组件，它将url对应的互联网网页已html的形式保存在本地。目前有两种网页下载器，1：urllib2(python基础模块) 2:requests（...

[Python爬虫] 之三：Selenium 调用IEDriverServer 抓取数据【代码】

接着上一遍，在用Selenium+phantomjs 抓取数据过程中发现，有时候抓取不到，所以又测试了用Selenium+浏览器驱动的方式：具体代码如下：#coding=utf-8import osimport refrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport timefrom selenium.webdriver.common.action_chains import ActionChainsimport IniFileclass IEDriverCrawler: def __init__(self): #通过配置文件获取IEDrive...

[python爬虫] Selenium定向爬取PubMed生物医学摘要信息【代码】【图】

本文主要是自己的在线代码笔记。在生物医学本体Ontology构建过程中，我使用Selenium定向爬取生物医学PubMed数据库的内容。 PubMed是一个免费的搜寻引擎，提供生物医学方面的论文搜寻以及摘要。它的数据库来源为MEDLINE（生物医学数据库），其核心主题为医学，但亦包括其他与医学相关的领域，像是护理学或者其他健康学科。它同时也提供对于相关生物医学资讯上相当全面的支援，像是生化学与细胞生物学。 PubMed是因特网...

python3 网页爬虫图片下载无效链接处理 try except

代码比较粗糙，主要是备忘容易出错的地方。供自己以后查阅。#图片下载import reimport urllib.request #python3中模块名和2.x（urllib）的不一样site=‘https://world.taobao.com/item/530762904536.htm?spm=a21bp.7806943.topsale_XX.4.jcjxZC‘page=urllib.request.urlopen(site)html=page.read()html=html.decode(‘utf-8‘) #读取下来的网页源码需要转换成utf-8格式reg=r‘src="//(gd.*?jpg)‘imgre=re.compile(reg)imgl...

爬虫 - 最热教程

论Python爬虫与MySQL数据库交互的坑 Python爬虫实战教程：爬取网易新闻；爬...【Python爬虫实践】异步XHR爬取在线编...node爬虫进阶之——登录 Python3爬虫实例之网易云音乐爬虫 Python爬虫入门【10】：电子书多线程爬...c# – 尝试使用ZeroMQ构建分布式爬虫 Python爬虫抓取技术的门道，大师级总结 java网页爬虫正则表达式 [Python] [爬虫] 1.批量政府网站的招投...

首页 / 爬虫 / python—爬虫

python—爬虫

内容导读

内容图文

内容总结

内容备注

内容手机端

【python—爬虫】教程文章相关的互联网学习教程文章

python爬虫scrapy之rules的基本使用【代码】

Python爬虫之提取Bing搜索的背景图片并设置为Windows的电脑桌面【代码】【图】

Python 爬虫6——Scrapy的安装和使用【代码】【图】

【Python爬虫学习笔记12】Ajax数据爬取简介【图】

python | 爬虫笔记（六）- Ajax数据爬取

python 爬虫第二个程序【代码】

python_小爬虫【代码】

python爬虫模块理解【代码】

[Python爬虫] 之三：Selenium 调用IEDriverServer 抓取数据【代码】

[python爬虫] Selenium定向爬取PubMed生物医学摘要信息【代码】【图】

python3 网页爬虫图片下载无效链接处理 try except

python爬虫中图形验证码的处理【代码】【图】

Python爬虫【五】Scrapy分布式原理笔记【代码】【图】

Python实战项目网络爬虫之爬取小说吧小说正文【代码】

python多线程爬虫【代码】【图】

爬虫 - 最新教程

爬虫 - 最热教程