MONGO_URL = ‘localhost:27017‘ 2 MONGO_DB = ‘taobao‘ 3 MONGO_TABLE = ‘iphonex‘ 4 5 SEACH_KEYS=‘iPhoneX‘ 6 7 SERVICE_ARGS=[‘--disk-cache=true‘,‘--load-images=false‘] #开启缓存，不加载图片 8 EXECUTABLE_PATH=r‘C:\test\phantomjs-2.1.1-windows\bin\phantomjs.exe‘ 4、爬取如下spider.py 1 import re2 3 from selenium import webdriver4 from selenium.common.exceptions import TimeoutException5 fr...
1.安装Selenium：终端输入 pip install selenium 2.安装下载Chromedriver：解压后放在…\Google\Chrome\Application\；如果是Mac，可放入/usr/locl/bin，并将此目录放入环境变量 3.安装pyquery：终端输入 pip install pyquery 4.安装pymongo：终端输入 pip install pymongo 5.安装MongoDB的PyCharm插件：Preferences——Plugins——Mongo Plugin，安装完成后重启PyCharm可发现右侧有Mongo Explorer 6.安装MongoDB，windows:参考小歪...
selenium import webdriver driver = webdriver.Chrome() url = ‘https://www.basketball-reference.com/leagues/NBA_2019.html‘ driver.get(url)# 操作等待 driver.implicitly_wait(3) list_name = driver.find_elements_by_xpath(‘//*[@id="team-stats-per_game"]/tbody/tr/td[1]/a‘) # 三分球命中次数 list_3p = driver.find_elements_by_xpath(‘//*[@id="team-stats-per_game"]/tbody/tr/td[7]‘) # 三分球投射次数 list_...
Selenium是自动化测试常用的实现模块，但其的应用不仅仅局限在于自动化测试，这里介绍Selenium+WebDriver实现数据爬取。需求分析 1.使用Selenium+WebDriver访问斗鱼平台英雄联盟页面，爬取当前所有直播用户的房间名和观众人数。 2.使用MongoDB实现所爬取数据的保存。 页面分析 创建一个douyuSpider.py的文件，导入selenium模块并实例化一个webdriver对象。 from selenium import webdriverdriver = webdriver.Chrome()定义斗鱼英雄...
本篇博客仅作为学习交流，不可用于商业用途 要使用selenium必须装浏览器驱动，下载一个驱动包，解压放在python的script目录即可#!/usr/bin/python # -*- coding: UTF-8 -*- # Author: RuiMing Lin # DateTime: 2021/01/26 17:09 # Description: 使用Selenium动态爬取电影 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from...