一、滑块验证码简述 有爬虫，自然就有反爬虫，就像病毒和杀毒软件一样，有攻就有防，两者彼此推进发展。而目前最流行的反爬技术验证码，为了防止爬虫自动注册，批量生成垃圾账号，几乎所有网站的注册页面都会用到验证码技术。其实验证码的英文为 CAPTCHA（Completely Automated Public Turing test to tell Computers and Humans Apart），翻译成中文就是全自动区分计算机和人类的公开图灵测试，它是一种可以区分用户是计算...
import timefrom selenium import webdriver#无可视化from selenium.webdriver.chrome.options import Options#规避检测from selenium.webdriver import ChromeOptions driver = webdriver.Chrome(options=option)#这个是一个用来控制chrome以无界面模式打开的浏览器#创建一个参数对象，用来控制chrome以无界面的方式打开chrome_options = Options()#后面的两个是固定写法 必须这么写chrome_options.add_argument(--headless)chrom...
from selenium import webdriverfrom time import sleepbro = webdriver.Chrome()bro.get(https://mail.qq.com/)sleep(1)bro.switch_to_frame(login_frame)sleep(1)bro.find_element_by_id(switcher_plogin).click()sleep(1)passname=bro.find_element_by_id(u).send_keys(370546812)sleep(1)password=bro.find_element_by_id(p).send_keys(mj18291812330.)sleep(1)bro.find_element_by_id(login_button).click()sleep(5)bro.close...
from selenium import webdriverfrom lxml.etree import HTMLfrom time import sleep#导入动作链对应的类from selenium.webdriver import ActionChains bro = webdriver.Chrome() # 里面是Chrome的地址bro.maximize_window()bro.get(https://money.163.com/stock/)sleep(3)asd=bro.find_element_by_xpath(//*[@id="stock2016_wrap"]/div/div[3]/div[3]/div[2]/div[2]/div[3]/div/ul/li[1]/div/div) # page = bro.page_source# aa ...
Python爬虫之selenuim的应用 这是一个最基本的爬虫selenium应用实战演练—爬取新浪微博网站这是一个最基本的爬虫selenium应用 以下是应用谷歌浏览器打开百度搜索python的代码 from selenium import webdriverdriver = webdriver.Chrome('D:\chromedriver_win32\chromedriver.exe') driver.get('https://www.baidu.com/') search_box = driver.find_element_by_xpath('//*[@id="kw"]') search_box.send_keys('python') submit = dri...
文章目录 selenium模块selenium基本概念基本使用代码 基于浏览器自动化的操作代码代码 selenium处理iframe：代码 selenium模拟登陆QQ空间代码 无头浏览器和规避检测代码selenium模块 selenium基本概念 selenium优势 便捷的获取网站中动态加载的数据便捷实现模拟登陆 selenium使用流程： 1.环境安装：pip install selenium 2.下载一个浏览器的驱动程序（谷歌浏览器） 3.实例化一个浏览器对象 基本使用 代码 from selenium import we...
#Xpath 里/html 表示根节点 # xpath 绝对路径里 /html/body/div 等价于 css html>body>div from selenium import webdriver wd=webdriver.Chrome() url='http://cdn1.python3.vip/files/selenium/test1.html' wd.get(url) # eles=wd.find_elements_by_xpath('/html/body/div') # for ele in eles:#当成多个小的元素处理 # print('--'*30) # print(ele.text)eles=wd.find_element_by_xpath('/html/body/div') print(eles.te...
本文对使用到的技术仅做简单的介绍，若想了解更多，请前往相应的官网网站进行学习。 本文适合对爬虫相关知识接触不多的新手，主要是普及Selenium如何做爬虫，大佬请跳过。1.Selenium简单介绍 1.简介Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览器。 简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种爬虫是模拟真实浏览...
@目录昨日回顾今日内容1 爬拉勾网职位信息2 爬红楼梦小说3 爬肯德基门店4 爬糗事百科段子5 xpath选择器使用6 selenium使用7 爬取京东商品信息8 自动登录123069 cookie池讲解10 抓包工具介绍拓展作业 昨日回顾 # 1 requests+bs4爬取新闻 # 2 使用实例化得到一个对象（解析的字符串，解析器（html.parser,lxml）） # 3 遍历文档树 soup.body 查找速度快，只能找到最开始的第一个 # 4 标签对象有很多属性对象.name # 标签的名字...
如果想从头学起selenium，可以去看看这个系列的文章哦！ https://www.cnblogs.com/miki-peng/category/1942527.htmlPO模式 ? Page Object(简称PO)模式，是Selenium实战中最为流行，并且是自动化测试中最为熟悉和推崇的一种设计模式。在设计自动化测试时，把页面元素和元素的操作方法按照页面抽象出来，分离成一定的对象，然后再进行组织。 ? 做web自动化最头疼的一个问题，莫过于页面变化了，如果没有使用PO设计模式，页面一变化...
错误 出错函数如下： #判断当前页面是否出现弹窗 def alert_is_present(driver):try:alert_box = driver.switch_to.alertreturn alert_boxexcept:return False该函数在debug模式下可以正确执行并返回相应结果，但是在run模式下则只会返回False 原因分析 由于浏览器的渲染需要耗费一定的时间，而在程序执行时几乎是瞬间完成，那么alert_box = driver.switch_to.alert便会直接抛出错误,然后执行except语句，从而也就导致了后续的错误...
第一篇讲了xpath定位的一些基本定位方法，这里再介绍一种：xpath轴定位，应用场景是当某个元素的各个属性及其组合都不足以定位时，那么可以利用其兄弟节点或者父节点等各种可以定位的元素进行定位。1.xpath轴是什么 w3cschool上的定义如下：语法2.具体应用 (1)descendant表示取当前节点的所有后代元素 定位百度首页的“百度一下”按钮可以看到， <input>标签的父元素是<span>标签，而<span>标签的父元素是<form>标签，所以可以通过...
from selenium import webdriver import time pychar 中安装 selenium 控件 下载对应浏览器的webDriver browser = webdriver.Chrome("D:/chromedriver.exe") browser.get("https://www.baidu.com") html = browser.page_source 找输入框 inStr = browser.find_element_by_id(kw) inStr.send_keys("自动化测试"); btn = browser.find_element_by_id(su).click() 暂停5秒 time.sleep(5) 拍照保存,放到当前路径下 browser.save_screen...
# coding=utf-8 from config.setting_base import SettingBase from util.read_ini import ReadIni from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as ES from contextlib import contextmanagerclass FindElement(object):def __init__(self, driver, file_name=None, node=None):self.driver = driversel...
解决方法 （chromedriver版本跟chrome版本不一致导致，编译器报错也会提醒是版本不一致问题） 找到 C:\Program Files\Google\Chrome\Application 即 chromedriver.exe 所在的目录，去 https://chromedriver.chromium.org/downloads 下载与chrome浏览器版本相近的chromedriver来替换原来的 注意： chromedriver.exe的目录不唯一，得看你原来放在哪里，并且确保chromedriver.exe所在的目录有加入系统的环境变量