首页 / HTML / Requests-html 设置 headers

Requests-html 设置 headers

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Requests-html 设置 headers，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1224字，纯文字阅读大概需要2分钟。

内容图文

要求安装Requests-html，Python版本高于或等于3.6。

             1
            #
             -*- coding -*-
             2
             3
            from requests_html import HTMLSession
 4 5 6def get_web_page_elements(url, headers={}, xpath_expression=‘‘):
 7‘‘‘通过 xpath expression 获取 网页元素‘‘‘ 8     session = HTMLSession()
 9     response = session.get(url, headers=headers)
10     elements_list = response.html.xpath(xpath_expression)
11return elements_list
121314if__name__ == ‘__main__‘:
15     url = ‘https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000‘16# headers 设置17     referer = url
18     cookie = ‘Cookie: atsp=1548864427226_1548863599220; Hm_lvt_2efddd14a5f2b304677462d06fb4f964=1548863599; Hm_lpvt_2efddd14a5f2b304677462d06fb4f964=1548863599‘19     user_agent = ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36‘20     headers = {
21‘Referer‘: referer,
22‘Cookie‘: cookie,
23‘User-Agent‘: user_agent
24        }
25# 获取 目录26     index_xpath_expression = "//a[@class=‘x-wiki-index-item‘]"27     index_data = get_web_page_elements(url, headers=headers, xpath_expression=index_xpath_expression)
28for each_index in index_data:
29print(each_index.text + ‘\t\t‘ + each_index.url)

 

原文：https://www.cnblogs.com/mcgill0217/p/10340310.html

内容总结

以上是互联网集市为您收集整理的Requests-html 设置 headers全部内容，希望文章能够帮你解决Requests-html 设置 headers所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1108406.html

来源：【匿名】