首页 / 正则 / doraemon的python 爬虫（数据解析——正则、bs4、xpath）

doraemon的python 爬虫（数据解析——正则、bs4、xpath）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了doraemon的python 爬虫（数据解析——正则、bs4、xpath），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8762字，纯文字阅读大概需要13分钟。

内容图文

用法解析和示例

### 3.数据解析(xpath、bs4、正则)

**数据解析**

- 解析:根据指定的规则对数据进行提取
- 作用:实现聚焦爬虫
- 聚焦爬虫的编码流程:
  - 指定url
  - 发起请求
  - 获取响应数据
  - 数据解析
  - 持久化存储
- 数据解析的方式:
  - 正则
  - bs4
  - xpath
  - pyquery(拓展)
- 数据解析的通用原理是什么?
  - 数据解析需要作用在页面源码中(一组html标签组成的)
  - html的核心作用是什么?
    - 展示数据
  - html是如何展示数据的呢?
    - html所要展示的数据一定是被放置在html标签之中,或者是在属性中.
  - 通用原理:
    - 1.标签定位
    - 2.取文本or取属性

#### 3.1 正则实现的数据解析

- 需求:爬取糗事百科中糗图数据

- 如何爬取图片数据

```python
import requests
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
```

```python
#方式1:
url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'
img_data = requests.get(url=url,headers=headers).content #content返回的是byte类型的数据
with open('./123.jpg','wb') as fp:
    fp.write(img_data)
```

```python
#方式2:
from urllib import request
url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'
request.urlretrieve(url,'./456.jpg')
```

- 方式1和方式2对于图片数据爬取的操作最大的不同之处是在哪?
  - 方式2不可以使用UA伪装的机制

urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib

**正则的数据解析**

```python
#糗事百科
import re
import os

dir_name = './qiutuLibs'
if not os.path.exists(dir_name):
    os.mkdir(dir_name)

url = 'https://www.qiushibaike.com/pic/'
page_text = requests.get(url,headers=headers).text
#数据解析:图片地址
ex = '<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>'
img_src_list = re.findall(ex,page_text,re.S)
for src in img_src_list:
    src = 'https:'+src
    img_name = src.split('/')[-1]
    img_path = dir_name+'/'+img_name
    #对图片地址单独发起请求获取图片数据
    request.urlretrieve(src,img_path)
    print(img_name,'下载成功!!!')
```

**爬取多页就需要找到url上的共性**

```python
dir_name = './qiutuLibs'
if not os.path.exists(dir_name):
    os.mkdir(dir_name)
#指定一个通用的url模板(不可变)
url = 'https://www.qiushibaike.com/pic/page/%d/'
for page in range(1,5):
    print('正在爬取第{}页的图片'.format(page))
    #形成一个某页码完整的url
    new_url = format(url%page)
    page_text = requests.get(new_url,headers=headers).text
    #数据解析:图片地址
    ex = '<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>'
    img_src_list = re.findall(ex,page_text,re.S)
    for src in img_src_list:
        src = 'https:'+src
        img_name = src.split('/')[-1]
        img_path = dir_name+'/'+img_name
        #对图片地址单独发起请求获取图片数据
        request.urlretrieve(src,img_path)
#         print(img_name,'下载成功!!!')
```



#### 3.2 bs4

**bs4解析**

- 环境的安装:
  - pip install bs4
  - pip install lxml
- bs4的解析原理
  - 实例化一个BeautifulSoup的对象,并且将即将被解析的页面源码数据加载到该对象中
  - 调用BeautifulSoup对象中的相关属性和方法进行标签定位和数据提取
- 如何实例化BeautifulSoup对象呢?
  - BeautifulSoup(fp,'lxml'):专门用作于解析本地存储的html文档中的数据
  - BeautifulSoup(page_text,'lxml'):专门用作于将互联网上请求到的页面源码数据进行解析

**标签定位**

- soup.tagName:定位到第一个TagName标签,返回的是单数
- 属性定位:soup.find('tagName',attrName='value'),返回也是单数
  - find_all:和find用法一致,但是返回值是列表
- 选择器定位:select('选择器'),返回值为列表
  - 标签,类,id,层级(>:一个层级,空格:多个层级)

**提取数据**

- 取文本:
  - tag.string:标签中直系的文本内容
  - tag.text:标签中所有的文本内容
- 取属性:
  - tag['attrName']

```python
# 用法解析
from bs4 import BeautifulSoup
fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml') #将即将被解析的页面源码加载到该对象中
soup.p
soup.find('div',class_='song')
soup.find_all('div',class_='song')
soup.select('.tang')
soup.select('#feng')
soup.select('.tang > ul > li') #一层一层查找
soup.select('.tang li') #多层查找
li_6 = soup.select('.tang > ul > li')[6]
i_tag = li_6.i
i_tag.string
soup.find('div',class_='tang').text
soup.find('a',id="feng")['href']

```

```python
#在首页中解析章节名称&每一个章节详情页的url
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
page_text = requests.get(url,headers=headers).text
soup = BeautifulSoup(page_text,'lxml')
a_list = soup.select('.book-mulu > ul > li > a')
fp = open('sanguo.txt','w',encoding='utf-8')
for a in a_list:
    detail_url = 'http://www.shicimingju.com'+a['href']
    chap_title = a.string
    #对章节详情页的url发起请求,解析详情页中的章节内容
    detail_page_text = requests.get(detail_url,headers=headers).text
    soup = BeautifulSoup(detail_page_text,'lxml')
    chap_content = soup.find('div',class_="chapter_content").text
    fp.write(chap_title+':'+chap_content+'\n')
    print(chap_title,'爬取成功!')
fp.close()
```

#### 3.3 xpath

**xpath解析**

- 环境的安装:pip install lxml
- xpath的解析原理
  - 实例化一个etree类型的对象,且将页面源码数据加载到该对象中
  - 需要调用该对象的xpath方法结合着不同形式的xpath表达式进行标签定位和数据提取
- etree对象的实例化
  - etree.parse(fileNane)
  - etree.HTML(page_text)
- xpath方法返回的永远是一个列表



**标签定位**

- 在xpath表达式中最最侧的/表示的含义是说,当前定位的标签必须从根节点开始进行定位
- xpath表达式中最左侧的//表示可以从任意位置进行标签定位
- xpath表达式中非最左侧的//表示的是多个层级的意思
- xpath表达式中非最左侧的/表示的是一个层级的意思
- 属性定位://tagName[@arrtName='value']
- 索引定位://tagName/li[3]

**提取数据**

- 取文本:
  - /text():取直系的文本内容
  - //text():取所有的文本内容
- 取属性:
  - tag/@attrName

```python
#用法解析
from lxml import etree
tree = etree.parse('./test.html')
tree.xpath('/html/head/meta')[0] #绝对路径
tree.xpath('//meta')[0] #相对路径,将整个页面源码中所有的meta进行定位
tree.xpath('/html//meta')[0] 
#属性定位
tree.xpath('//div[@class="song"]')
#索引定位
tree.xpath('//div[@class="tang"]/ul/li[3]') #该索引是从1开始
tree.xpath('//div[@class="tang"]//li[3]') #该索引是从1开始
#取文本
tree.xpath('//p[1]/text()')
tree.xpath('//div[@class="song"]//text()')

#取属性
tree.xpath('//a[@id="feng"]/@href')
```



**需求:爬取boss的招聘信息**

- 岗位名称
- 公司名称
- 薪资
- 岗位描述

```python
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'cookie':'lastCity=101010100; __c=1566877560; __g=-; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1566877561; _uab_collina=156687756118178796315757; __l=l=%2Fwww.zhipin.com%2F&r=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DidbSvNzz2fLSl1WXiEmtINauVHUZYSNqejHny725pc5RTwaHqh5uDx1LewpyGmaT%26wd%3D%26eqid%3Dbadf667700040677000000025d64a772&friend_source=0&friend_source=0; __zp_stoken__=91d9QItKEtUk5dMMnDG7lwzq8mBW1g%2FkEsFOHXIi%2FwMd%2FPRRXc%2FPMKjsDYwsfC4b7vAT3FVnTmYBjGp8gW1OeZ5TdA%3D%3D; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1566879753; __a=69160831.1566877560..1566877560.16.1.16.16'
}

url = 'https://www.zhipin.com/job_detail/?query=python%E7%88%AC%E8%99%AB&city=101010100&industry=&position='
page_text = requests.get(url,headers=headers).text
#数据解析
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="job-list"]/ul/li')
for li in li_list:
#     需要将li表示的局部页面源码数据中的相关数据进行提取
#     如果xpath表达式被作用在了循环中,表达式要以./或者.//开头
    detail_url = 'https://www.zhipin.com'+li.xpath('.//div[@class="info-primary"]/h3/a/@href')[0]
    job_title = li.xpath('.//div[@class="info-primary"]/h3/a/div/text()')[0]
    salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()')[0]
    company = li.xpath('.//div[@class="info-company"]/div/h3/a/text()')[0]
    #对详情页的url发请求解析出岗位职责
    detail_page_text = requests.get(detail_url,headers=headers).text
    tree = etree.HTML(detail_page_text)
    job_desc = tree.xpath('//div[@class="text"]//text()')
    job_desc = ''.join(job_desc)
    
    print(job_title,salary,company,job_desc)
```

- 另一种较为通用的xpath表达式的使用形式:管道符在xpath表达式中的应用,用于解析不规则布局的页面数据(比如糗事百科中有的作者有名字，有的没有注册名字)
- 爬取糗事百科的段子内容和作者名称

```python
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
}
url = 'https://www.qiushibaike.com/text/page/4/'
page_text = requests.get(url,headers=headers).text

tree = etree.HTML(page_text)
div_list = tree.xpath('//div[@id="content-left"]/div')
for div in div_list:
    author = div.xpath('./div[1]/a[2]/h2/text() | ./div[1]/span[2]/h2/text()')[0]  #  将两个匹配规则形成或的关系
    content = div.xpath('.//div[@class="content"]/span//text()')
    content = ''.join(content)
    print(author,content)
```



**中文乱码处理的问题**

- 爬取http://pic.netbian.com/4kmeishi/的图片和图片名称

```python
#指定一个通用的url模板
url = 'http://pic.netbian.com/4kmeishi/index_%d.html'

for page in range(1,3):
    if page == 1:
        new_url = 'http://pic.netbian.com/4kmeishi/'
    else:
        new_url = format(url%page)
    response =  requests.get(new_url,headers=headers)
    #response.encoding = 'utf-8'
    page_text = response.text
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//*[@id="main"]/div[3]/ul/li')
    for li in li_list:
        img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/b/text()')[0]
        img_name = img_name.encode('iso-8859-1').decode('gbk')#这类是关键
```

内容总结

以上是互联网集市为您收集整理的doraemon的python 爬虫（数据解析——正则、bs4、xpath）全部内容，希望文章能够帮你解决doraemon的python 爬虫（数据解析——正则、bs4、xpath）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/655993.html

来源：【匿名】

【上一篇】大数据之路week04--day05（java 正则表达式）【下一篇】正则表达式语法

更多 ►

【doraemon的python 爬虫（数据解析——正则、bs4、xpath）】教程文章相关的互联网学习教程文章

用正则把url解析为对象

用正则把url解析为对象<!DOCTYPE html><html><head><meta charset="utf-8"><title>string and reg</title></head><body><script>/*一、知识点1. \ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n‘ 匹配字符 ‘n‘。‘\n‘ 匹配换行符。序列 ‘\\‘ 匹配 "\"，而 ‘\(‘ 则匹配 "("。2. ? 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?。3. | 替换，"或"操...

正则表达式匹配解析过程探讨分析(正则表达式匹配原理)【图】

已经有多篇关于正则表达式介绍的文章，随着我们越来越多使用正则表达式，想对性能做优化、减少我们正则表达式书写匹配Bug。我们不得不进一步深入了解正则表达式执行过程了。下面我们一起学习，分析下正则表达式执行过程。我们会用regexbuddy测试工具分解执行过程，具体工具使用，可以看：正则表达式性能测试工具推荐、优化工具推荐(regexbuddy推荐)。要了解正则表达式解析过程前，我们先来熟悉几个概念。常见正则表达式引擎引擎决...

【我的Linux，我做主！】通配符和正则表达式深层解析【图】

目录：（一）了解通配符和正则的作用（二）通配符的使用（三）正则表达式的使用（四）扩展正则表达式的使用（一）了解通配符和正则的作用(1.1)在我们日常的工作中，我们都会使用到通配符或者正则表达式。通配符是一种特殊语句，主要有星号（*）和问号（?），用来模糊搜索文件。当查找文件夹时，可以使用它来代替一个或多个真正字符；当不知道真正字符或者懒得输入完整名字时，常常使用通配符代替一个或多个真正的字符。正则表达式...

linux 正则表达式深度解析

简介大体来讲，正则表达式的文法分为3种标准：BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准，ARE 则是由各家定义的扩展。 POSIX 正则表达式传统上，POSIX 定义了两种正则表达式语法，即：基本正则表达式（BRE）和扩展正则表达式（ERE）。其中， BRE 定义的语法符号包括：. - 匹配任意一个字符。[] - 字符集匹配，匹配方括号中定义的字符集之一。[^] - 字符集否定匹配，匹配没有在方括号中定义的字符。^ - 匹配开始位置。$ -...

解析json串，利用正则表达式，split

public class SplitJson { public static void main(String[] args) { // TODO Auto-generated method stub String str = "[{\"version\":\"100\"},{\"type\":\"210\"},{\"chanl_no\":\"30\"},{\"chanl_sub_no\":\"3001\"},{\"chanl_date\":\"\"},{\"chanl_time\":\"\"},{\"ectip_date\":\"\"},{\"chanl_flow_no\":\"\"},{\"ectip_flow_no\":\"\"},{\"chanl_trad_no\":\"3FC012\"},{\"term_inf\":\"\"},{\"resp_code...

正则表达式解析【代码】

正则表达式解析正则表达式，又称正规表示法、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。一.正则表达式的用途通过使用正则表达式，可以：1.测试字符串内的模式。例如，可以测试输入字符串，以查看字符串内是否出现电话...

IOS 用正则表达式解析HTML等文件,得到所有文本

获得网页内容NSURL *url=[NSURL URLWithString:@"http://121.199.34.52/wordpress/?json=core.get_post_content&post_id=8764&post_type=post"]; NSDictionary * dic=[NSJSONSerialization JSONObjectWithData:[NSData dataWithContentsOfURL:url] options:0 error:Nil]; NSString *content=[dic objectForKey:@"content"];正则表达式 NSRegularExpression *regularExpretion=[NSRegularExpression regularExpressionWithP...

Python从零开始写爬虫-2 使用正则表达式解析HTML【代码】【图】

上一篇博客Python从零开始写爬虫-1 使用Python发送http请求并获得网页源代码中我们已经学习到如何从网站上获取html的源码, 那么今天我们就来学习如何使用正则表达式来解析HTML.同样以Python的Api文档为例.正则表达式:又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。(从百度上复制过来的)看这篇文章没有正...

使用Hive的正则解析器RegexSerDe分析Nginx日志

使用Hive的正则解析器RegexSerDe分析Nginx日志 1、环境： Hadoop-2.6.0 + apache-hive-1.2.0-bin 2、使用Hive分析nginx日志，网站的访问日志部分内容为： cat /home/hadoop/hivetestdata/nginx.txt192.168.1.128 - - [09/Jan/2015:12:38:08 +0800] "GET /avatar/helloworld.png HTTP/1.1" 200 1521 "http://write.blog.linuxidc.net/postlist" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...

php正则解析apache日志文件文件

可以把日志按小时滚动，采用php正则分析日志的方式进行解决$logLine =127.0.0.1 - - [22/May/2015:17:09:13 +0800] "GET /sale/images/y-select.png HTTP/1.1" 200 1095; $pattern = /^(?P[0-9.]+) - - \[(?P[^\]]+)\]+ "GET (?P[^ ]+) HTTP\/1.[1|0|2]" (?P[0-9.]+) (?P[0-9.]+)/i; preg_match($pattern, $log, $match); //var_dump($match); $ip = $match[ip]; $time = strtotime($match[time]); $url = $match[url]; $...

PHP正则解析|提取|过滤标准的syslog日志文件内容,该怎么解决

PHP正则解析|提取|过滤标准的syslog日志文件内容日志内容：Dec 30 15:10:48 root my: 192.168.1.51 test 退出邮件管理系统Dec 30 15:11:23 root my: 192.168.1.51 stella 退出邮件管理系统...通过正则逐行提取有用信息,并返回数组...解析后：array( [0]=>array( [0]=>Dec 30 15:10:48， [1]=>root, [2]=>my, [3]=>192.168.1.51, [4]=>test, [5]=>退出邮件管理系统 ), [1]=>array( [0]=>Dec 30 15:11:23， ...

PHP /正则表达式解析NGINX错误日志【代码】

错误条目如下所示：2011/06/10 13:30:10 [error] 23263#0: *1 directory index of "/var/www/ssl/" is forbidden, client: 86.186.86.232, server: hotelpublisher.com, request: "GET / HTTP/1.1", host: "hotelpublisher.com"我需要解析：date/time error type error message client server request host第一位(解析日期)很容易使用substr.虽然我的REGEX不太好,但我希望能听到更好的解决方案.我想,简单的爆炸,也不会起作用,因为错...

grok debugger 正则解析nginx日志【图】

地址:https://grokdebug.herokuapp.com/1.捞一段nginx的日志这个是我的nginx日志格式： $remote_addr [$time_local] "$request" $request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_time $upstream_response_time; 对应的日志： 172.16.16.132 [22/Jul/2019:08:31:03 -0400] "GET / HTTP/1.1" - 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko...

java-使用正则表达式解析日志【代码】

我正在寻找一种解析Varnish日志文件的解决方案.看起来像：178.232.38.87 - - [23/May/2012:14:01:05 +0200] "GET http://static.vg.no/iphone/js/front-min.js?20120509-1 HTTP/1.1" 200 2013 "http://touch.vg.no/" "Mozilla/5.0 (Linux; U; Android 2.3.3; en-no; HTC Nexus One Build/GRI40) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"可以区分以下元素：％h％l％u％t“％r”％s％b“％{Referer...

深入理解JS正则表达式之REGEXP对象的解析

这篇文章主要介绍了关于深入理解JS正则表达式之REGEXP对象的解析，有着一定的参考价值，现在分享给大家，有需要的朋友可以参考一下REGEXP对象JavaScript通过内置对象RegExp支持正则表达式，有两种方法实例化RegExp对象。1.字面量2.构造函数字面量字面量是直接通过/.../创建RegExp对象实例。var reg = /\bis\b/ var text = He is a boy. var result = text.replace(reg, IS) // He IS a boy.构造函数构造函数版本看起来比较像Jav...

爬虫 - 相关标签

爬虫程序爬虫代理ip 爬虫代码爬虫工程师爬虫工具爬虫是什么爬虫原理

正则 - 最热教程

java正则表达式匹配所有数字，包括带小...UltraEdit正则表达式搜索替换小技巧 php正则表达式，允许有数字，字母，和标...jquery取字符串中数字的正则_jquery 分享正则表达式注册表验证和一些常用的...php正则表达式的特殊字符含义_PHP教程 SwiftUI iOS 超酷组件之支持文本分割炸...java网页爬虫正则表达式 java-检查字符串是否仅包含字母空格和引...python 正则表达式与JSON-JSON

首页 / 正则 / doraemon的python 爬虫（数据解析——正则、bs4、xpath）

doraemon的python 爬虫（数据解析——正则、bs4、xpath）

内容导读

内容图文

内容总结

内容备注

内容手机端

【doraemon的python 爬虫（数据解析——正则、bs4、xpath）】教程文章相关的互联网学习教程文章

用正则把url解析为对象

正则表达式匹配解析过程探讨分析(正则表达式匹配原理)【图】

【我的Linux，我做主！】通配符和正则表达式深层解析【图】

linux 正则表达式深度解析

解析json串，利用正则表达式，split

正则表达式解析【代码】

IOS 用正则表达式解析HTML等文件,得到所有文本

Python从零开始写爬虫-2 使用正则表达式解析HTML【代码】【图】

使用Hive的正则解析器RegexSerDe分析Nginx日志

php正则解析apache日志文件文件

PHP正则解析|提取|过滤标准的syslog日志文件内容,该怎么解决

PHP /正则表达式解析NGINX错误日志【代码】

grok debugger 正则解析nginx日志【图】

java-使用正则表达式解析日志【代码】

深入理解JS正则表达式之REGEXP对象的解析

PYTHON - 相关标签

爬虫 - 相关标签

正则 - 相关标签

正则 - 最新教程

正则 - 最热教程