目录1.获取所有的p标签2.获取第2个p标签3.获取所有class等于t3的span标签4.获取class等于check，name等于delivery_em的em标签5.获取class为t1的p标签下的所有a标签的href属性6.获取所有的职位信息(文本)7.总结7.1 find_all的使用7.2 find与find_all的区别7.3 find与find_all的过滤条件7.4 获取标签的属性7.5 strings和stripped_strings、string属性以及get_text方法 在下面的内容中引用了前程无忧网的部分源码进行案例演示，以下全...
转自https://www.py.cn/spider/guide/14488.html 本节中，我们看一下正则表达式的相关用法。正则表达式是处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然，对于爬虫来说，有了它，从HTML里提取想要的信息就非常方便了。1. 实例引入说了这么多，可能我们对它到底是个什么还是比较模糊，下面就用几个实例来看一下正则表达式的用法。打开开源中国提供的正则表达式测试工具h...
这篇文章主要介绍了python3 xpath和requests应用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。 etree使用xpath语法。 import requests import ssl from lxml import etreessl._create_default_https_context = ssl._create_unverified_contextsession = requests.Session() for id in range(0, 251, 25):URL = 'https://movie.douban.co...
这篇文章主要介绍了Selenium chrome配置代理Python版的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧 环境: windows 7 + Python 3.5.2 + Selenium 3.4.2 + Chrome Driver 2.29 + Chrome 58.0.3029.110 (64-bit) Selenium官方给的Firefox代理配置方式并不起效，也没看到合适的配置方式，对于Chrome Selenium官方没有告知如何配置，但以下两种方式是有效的：连接无用户名密码认证的代理chromeO...
一、Python正则匹配规则二、re库 1.re.match re.match尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none.re.match(pattern,string,flags=0) #传入三个参数分别为：正则表达式、匹配字符串、匹配模式 最常规的匹配:import recontent = 'Hello 123 4567 World_This is a Regex Demo' print(len(content)) result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$',content) print(result) pri...
在使用Ajax采集数据时，有些Ajax接口含有很多的加密参数，直接很难发现规律。此时，就可以使用模拟浏览器运行的方式来采集。Python 提供了许多模拟浏览器运行的库，如Selenium、Splash、PyV8、Ghost等。 一、模拟浏览器爬取数据Selenium的使用。 1.1、安装准备工作 安装selenium库：pip install selenium (1)、谷歌(Chrome)浏览器需要ChromeDriver 驱动的安装与配置 查看浏览器版本号：点击Chrome右上角的菜单->帮助->关于Google C...
在利用python进行就网页数据采集时，为们往往通过urllib或requests发送请求，返回的数据结构是json格式的，我们就使用json解析；其他格式的网页数据可以采用XPath(lxml)解析数据或者使用Beautiful Soup解析数据或者使用pyquery解析数据等很多方法。其中，pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。 目录 1、准备及初始化 2、使用pyquery的CSS选择器（Selecto...
一、前言本文是一次破解某网站 JS 加密数据的记录，网址为：https://www.qimingpian.cn/finosda/event/einvestment要获取的是本页面上的投资事件信息，首先可以确定的是数据是通过 AJax 来传输的，并非直接写在网页源码中的。 二、步骤 1.抓包打开开发者工具，刷新页面，选择 XHR 选项，可以找到如下请求信息：可以看到返回结果中包含有状态码“status”、返回信息“message”和加密数据“encrypt_data”，这个 encrypt_data 是一...
前言 该文章主要介绍面对AJAX的网页如何爬去信息，主要作用是适合刚入门爬虫查看学习 修改时间：20191219 天象独行首先，我们先介绍一下什么是AJAX，AJAX是与服务器交换数据并跟新部分网页的艺术，整个过程并没有加载整个页面。下面我们直接举例：1；确定爬虫目标，这里选择豆瓣电影来举例，这里我们点击“加载更多”发现在网页局部发生变化。2；使用抓包工具抓取数据： 3；这里主要分析参数page_limit,以及page_start,经过分...
前言 Python3 Post 传参主要用到的是urllib.request.urlopen(url,data)参数当中data。data参数主要是设置post的传参。 修改时间：20191218 天象独行首先，在计划使用Post传参爬虫的时，我们需要确定几点：1；需要访问的URL。2；请求对象（使用urllib.request.Request()构建，特别是请求头）3；Post传参（使用字典数据类型来存储，）4；提交URL请求（使用urllib.request.urlopen(url,data)中参数data来提供Post传参）
【摘要】 本节中，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图，抓取完成之后，将每组图片分文件夹下载到本地并保存下来。1. 准备工作 在本节开始之前，请确保已经安装好requests库。如果没有安装，可以参考第1章。 2. 抓取分析 在抓取之前，首先要分析抓取的逻辑。打开今日头条的首页http://www.toutiao.com/，如图6-15所示。图6-15 首页内容 右上角有一个搜索入口，这...
《Python3 网络爬虫开发实战》学习资料：https://www.cnblogs.com/waiwai14/p/11698175.html 如何从墙内下载Android Studio：https://www.cnblogs.com/waiwai14/p/11698551.html 最近想系统的学习一下爬虫，就在网上找了崔大大《Python3 网络爬虫开发实战》，然后。。。单配置开发环境就用了将近一天的时间，踩到了各种各样的，奇形怪状的坑。把能想到的再总结一下。 一、 1.4.1 MYSQL的安装 1、登陆MySQL官网：https:...
https://aq.yy.com/p/reg/account.do?appid=&url=&fromadv=udbclsd_r yy语音的注册页面，账号、密码、重复密码及提交按钮的实现这里不再讲解，利用selenium非常容易实现 本文只讲解如何识别绿色框里图片中文字的识别，并使用鼠标正确点击思路： 1. 利用爬虫技术将绿色图片下载到本地 2. 使用第三方工具（本文使用超级鹰）识别图片中的文字，并返回每个文字的坐标位置 3. 根据坐标位置，使用鼠标点击 这么一说是不是显得非常简单啦！...
本节我们首先来尝试识别最简单的一种验证码，图形验证码，这种验证码出现的最早，现在也很常见，一般是四位字母或者数字组成的，例如中国知网的注册页面就有类似的验证码，链接为：http://my.cnki.net/elibregister/commonRegister.aspx，页面如图 8-1 所示：图 8-1 知网注册页面 表单的最后一项就是图形验证码，我们必须完全输入正确图中的字符才可以完成注册。 1. 本节目标 本节我们就以知网的验证码为例，讲解一下利用 OCR 技术...
本节我们首先来尝试识别最简单的一种验证码，图形验证码，这种验证码出现的最早，现在也很常见，一般是四位字母或者数字组成的，例如中国知网的注册页面就有类似的验证码，链接为：http://my.cnki.net/elibregister/commonRegister.aspx，页面如图 8-1 所示：图 8-1 知网注册页面 表单的最后一项就是图形验证码，我们必须完全输入正确图中的字符才可以完成注册。 1. 本节目标 本节我们就以知网的验证码为例，讲解一下利用 OCR 技术...