javascript-单击并使用BS4 python抓取aspx页面

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了javascript-单击并使用BS4 python抓取aspx页面，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1403字，纯文字阅读大概需要3分钟。

内容图文

我试图通过单击一个按钮来抓取网站.我尝试使用萤火虫和谷歌浏览器控制台.我无法捕获正在发送的请求,以避免单击按钮.单击以下URL中的搜索按钮时,我仅看到两个.js文件作为请求

http://www.icsi.edu/Facilities/MembersDirectory.aspx

解决方法:

我认为处理此问题的最简单方法是使用Selenium的WebDriver.

链接：http://www.seleniumhq.org/docs/03_webdriver.jsp#introducing-webdriver

如果您已安装pip,则简单

pip install selenium

应该管用.我建议使用Firefox作为浏览器.

您可以使用Selenium下载页面,然后再使用BS4进行解析.这是一个简单的脚本,它将在表单中输入“ Foo”和“ Bar”,然后单击“搜索”按钮.

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://www.icsi.edu/Member/MembersDirectory.aspx")
# Alternatively, link directly to the form:
# driver.get("https://www.icsi.in/student/Members/MemberSearch.aspx?SkinSrc=%5BG%5DSkins/IcsiTheme/IcsiIn-Bare&ContainerSrc=%5BG%5DContainers/IcsiTheme/NoContainer")

# Locate the elements.
first = driver.find_element_by_id("dnn_ctr410_MemberSearch_txtFirstName")
last = driver.find_element_by_id("dnn_ctr410_MemberSearch_txtLastName")
search = driver.find_element_by_id("dnn_ctr410_MemberSearch_btnSearch")

# Input the data and click submit.
first.send_keys("Foo")
last.send_keys("Bar")
search.click()

作为奖励,以下是遍历结果页面的方法：

# next_page should be redeclared every time you visit a new page.
next_page = driver.find_element_by_class_name("rgPageNext")
next_page.click()

内容总结

以上是互联网集市为您收集整理的javascript-单击并使用BS4 python抓取aspx页面全部内容，希望文章能够帮你解决javascript-单击并使用BS4 python抓取aspx页面所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端