如何使用Python和lxml选择“加载更多结果”按钮

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何使用Python和lxml选择“加载更多结果”按钮，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含640字，纯文字阅读大概需要1分钟。

内容图文

我在抓一个网页.该网页包含50个条目.在50个条目之后它给出了一个
加载更多reults按钮.我需要自动选择它.我该怎么做.对于抓取我使用的是Python,Lxml.

解决方法:

即使JavaScript使用http请求来获取数据,因此一种方法是调查,当用户要求“加载更多结果”并模拟这些请求时,哪些请求提供数据.

这不是传统的抓取,它基于简单或渲染的html内容并检测更多链接,但可以是工作解决方案.

下一步行动：

>访问Google Chrome或Firefox中的页面
>按F12启动开发人员工具或Firebug
>切换到“网络”标签
>点击“加载更多结果”
>检查,哪些http请求已提供数据以加载更多结果以及它们返回的数据.
>尝试从Python模拟这些请求

请注意,数据不一定是HTML或XML格式,但可以是JSON格式.但Python也提供了足够的工具来处理这种格式.

内容总结

以上是互联网集市为您收集整理的如何使用Python和lxml选择“加载更多结果”按钮全部内容，希望文章能够帮你解决如何使用Python和lxml选择“加载更多结果”按钮所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---