引入今日概要图片懒加载 selenium phantomJs 谷歌无头浏览器知识点回顾验证码处理流程今日详情 动态数据加载处理 一.图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etreeif __name__ == "__main__":url = http://sc.chinaz.com/tupian/gudianmeinvtupian.htmlheaders = {User-Agent: Mozilla/5.0 (Macinto...
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2019/1/11 16:36 # @File : unittest_test9_5.py 调用javascript from selenium.webdriver.common.action_chains import ActionChains from selenium import webdriver import unittest import timeclass ExecuteJavaScriptTest(unittest.TestCase):def setUp(self):self.driver = webdriver.Chrome()self.driver.implicitly_wait(20)self.driver.maximize_window()sel...
selenium百度JS控制 ====================================------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- nullbaidu.png============================================================================ 1 2 任务：3 1. 通过selenium模拟对页面元素的控制4 5 6 7 8 from...
引言： 在自动化测试以及爬虫领域，无头浏览器的应用场景非常广泛，本文将梳理其中的若干概念和思路，并基于代码示例其中的若干使用技巧。 1. 无头浏览器 通常大家在在打开网页的工具就是浏览器，通过界面上输入网址就可以访问相应的站点内容，这个就是通常所说的基于界面的浏览器。除了这种浏览器之外，还有一种叫做无头浏览器的东西，主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作，对...
我们有的时候使用Selenium会希望能够限制图片和Javascript执行，从而提高网页加载速度。 options=webdriver.ChromeOptions() prefs={ profile.default_content_setting_values: { images: 2, javascript:2 } } options.add_experimental_option(prefs,prefs)browser = webdriver.Chrome(chrome_options=options) browser.get(http://www.cs/) 参考网址：https://blog.csdn.net/karwik/article/details/...
【第一部分】开篇：先认识Xpath的4种定位方法 跟你说，你总是靠那个firebug，chrome的F12啥的右击复制xpath绝对总有一天踩着地雷炸的你死活定位不到，这个时候就需要自己学会动手写xpath，人脑总比电脑聪明，开始把xpath语法给我学起来！ 第1种方法：通过绝对路径做定位（相信大家不会使用这种方式） By.xpath("html/body/div/form/input") By.xpath("//input") 第2种方法：通过元素索引定位 By.xpath("//input[4]") 第3种...
selenium：可以模拟鼠标进行一些操作 实例1:实现自动打开google浏览器，进行百度搜索，并关闭浏览器from selenium import webdriver from time import sleep #指定安装google浏览器驱动程序 bro = webdriver.Chrome(rE:\Spider爬虫视频\day03\chromedriver_win32\chromedriver.exe)#打开浏览器发起请求 bro.get(https://www.baidu.com)sleep(2)#定位到搜索框 my_text = bro.find_element_by_id(kw) #向搜索框中输入一个关键字 my_t...
#coding=utf-8 from selenium import webdriver import time driver = webdriver.Firefox() driver.get("https://www.baidu.com/") #给搜索输入框标红javascript脚本 js="var q=document.getElementById(\"kw\");q.style.border=\"2px solid red\";" #调用给搜索输入框标红js脚本 driver.execute_script(js) time.sleep(3) #单独执行js脚本 driver.execute_script(alert("输入框标红了!")) time.sleep(3) #接受提示信息 driver.sw...
今天一个朋友问我问题 考虑了下直接上代码，这是伪代码不能执行，但是给出了思路 代码 url = 'http://www.qingmiaokeji.cn/test.js' res = urllib.request.urlopen(url=url) js_source = res.read().decode('utf-8') driver.execute_script(js_source) 更多精彩内容请访问 个人博客程序猿和媛
import os import requests import tkinter.messagebox import execjs import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as ECdef login666():# check wificmd = netsh wlan show interfacesout=os.popen(cmd)cmd_ret = out.read()wifi = if cmd_ret:data = cmd_re...
大部分的时间控件属性是readonly，自动化测试中要给时间控件赋值，先要用js取消时间控件的readonly属性，再给value赋值，最后用webdriver对js进行处理 示例 from time import sleep from selenium import webdriverclass TestJS():def setup(self):self.driver = webdriver.Chrome()self.driver.implicitly_wait(5)self.driver.maximize_window()# def teardown(self):# self.driver.quit()def test_js_datatime(self):self.dr...