python接口自动化28-requests-html爬虫框架

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python接口自动化28-requests-html爬虫框架，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3883字，纯文字阅读大概需要6分钟。

内容图文

前言

用过requests库的都知道好，最近这个库的作者又退出了一个好用的爬虫框架requests-html。之前解析html页面用过了lxml和bs4。
requests-html集成了一些常用爬虫库的优点，依然是为人类服务：HTML Parsing for Humans。
目前只支持python3.6

环境准备

requests-html的GitHub地址https://github.com/kennethreitz/requests-html](https://github.com/kennethreitz/requests-html),使用pip就能直接安装了。

pip install requests-html

该库旨在使解析HTML（例如，抓取Web）尽可能简单直观, 有以下优势：

• 完整的JavaScript支持！
• CSS Selectors（又名jQuery风格，感谢PyQuery）。
• XPath Selectors，对于胆小的人来说。
• 模拟用户代理（如真实的Web浏览器）。
• 自动跟踪重定向。
• 连接池和cookie持久性。
• 请求体验您熟悉和喜爱，具有神奇的解析能力。
• 异步支持

抓页面url地址

先发个get请求，返回response对象，通过r.html.links获取页面的全部链接，包含一些相对路径的地址，如果只想获取绝对路径的地址，可以用r.html.absolute_links

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://python.org/')

# 获取页面上的所有链接
all_links = r.html.links
print(all_links)

# 绝对路径链接
all_absolute_links = r.html.absolute_links
print(all_absolute_links)

运行结果, 返回内容太多，省略了一部分：

{'http://pycon.blogspot.com/', '/community/', 'http://python.org/dev/peps/', '/events/python-events/831/', , 'http://www.scipy.org'}
{'http://pycon.blogspot.com/', 'https://www.python.org/dev/',  'https://wiki.qt.io/PySide', 'https://www.python.org/events/python-events/817/'}

从返回的结果可以看出，返回的是set集合，会自动的去除重复的链接地址

xpath定位

用过lxml库的小伙伴应该知道https://www.cnblogs.com/yoyoketang/p/9661273.html，lxml可以支持xpath查找元素对象，requests-html也可以完美的支持xpath

接下来我需要获取目标网站：https://www.cnblogs.com/yoyoketang/tag/django/， 获取所有的文章标题，xpath语法：.//*[@id='myposts']/div/div/a

参考代码

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/tag/django/')
# 只获取第一个
f = r.html.xpath(".//*[@id='myposts']/div/div/a", first=True).text
print(f)

# 获取全部
all = r.html.xpath(".//*[@id='myposts']/div/div/a")
for i in all:
    print(i.text)            # 获取文本
    print(i.absolute_links)  # 获取链接

运行结果

python测试开发django-49.allow_tags和mark_safe
python测试开发django-49.allow_tags和mark_safe
{'https://www.cnblogs.com/yoyoketang/p/10659137.html'}
python测试开发django-48.xadmin上传图片django-stdimage
{'https://www.cnblogs.com/yoyoketang/p/10655601.html'}
python测试开发django-47.xadmin上传图片和文件
{'https://www.cnblogs.com/yoyoketang/p/10653878.html'}

xpath方法返回是一个list，加上 first=True参数返回第一个结果

css定位支持

requests-html同样支持CSS Selector的方法，把上面案例用css定位也可以实现同样效果

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/tag/django/')
# 只获取第一个 css语法
f = r.html.find(".PostList>div>a", first=True).text
print(f)

# 获取全部 css语法
all = r.html.find(".PostList>div>a")
for i in all:
    print(i.text)          # 获取文本
    print(i.absolute_links)  # 获取链接

其它方法

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/tag/django/')

about = r.html.find(".PostList>div", first=True)

# 1.获取文本
print(about.text)

# 2.获取html内容
print(about.html)

# 3.获取全部属性
print(about.attrs)

# 4.获取链接
print(about.absolute_links )

# 5.搜索文字
print(about.search('python测试开发{}和mark_safe')[0])

# 6.继续定位子元素
print(about.find('a'))

运行结果

python测试开发django-49.allow_tags和mark_safe
<div class="postTitl2"><a href="https://www.cnblogs.com/yoyoketang/p/10659137.html" id="PostsList1_rpPosts_TitleUrl_0">python测试开发django-49.allow_tags和mark_safe</a></div>
{'class': ('postTitl2',)}
{'https://www.cnblogs.com/yoyoketang/p/10659137.html'}
django-49.allow_tags
[<Element 'a' href='https://www.cnblogs.com/yoyoketang/p/10659137.html' id='PostsList1_rpPosts_TitleUrl_0'>]

内容总结

以上是互联网集市为您收集整理的python接口自动化28-requests-html爬虫框架全部内容，希望文章能够帮你解决python接口自动化28-requests-html爬虫框架所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端