人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...
人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...
人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...
原文链接：https://mp.weixin.qq.com/s?src=11×tamp=1572075945&ver=1935&signature=P8UKE6o5J6DJShbc22yrRvtBkjOcUxkWocpnGjxj2He1VG3sM8iI7sgMyx*I3-FBczDns1KttyYQu7YNLb8Uj8M6q2*xkMnQLtflshY0j7WE3EB7WsAywy6S*3oziBtX&new=11. 实战背景 很多网站都提供上市公司的公告、财务报表等金融投资信息和数据，比如：腾讯财经、网易财经、新浪财经、东方财富网等。这之中，发现东方财富网的数据非常齐全。 东方财富网有一个数据中...
1 <--fumingyao 2019,8,28-->2 from selenium import webdriver # 导入selenium自动化测试模块3 from lxml import html # 导入xpath解析模块4 import time # 导入时间模块5 import requests # 导入爬虫request模块6 import random # 随机生成数字模块7 etree = html.etree # 实例化etree8 9 browser = webdriver.Chrome(chromedriver.exe) # 实例化selenium模块 10 11 url = https://image.baidu.com/ # 获取要访问的url 12 13...
selenium 爬虫时报错：Message: chromedriver executable needs to be in PATH.Please see https://sites.google.com/a/chromium.org/chromedriver/home。 报错原因：没有配置chrome浏览器的chromedriver 解决办法： 1.确定自己所用chrome的版本 打开chrome浏览器，在网址处输入chrome://version/ 即可查看版本号 2.下载对应版本的chromedriver.exe 访问http://chromedriver.storage.googleapis.com/index.html，找到自己浏览器...
https://aq.yy.com/p/reg/account.do?appid=&url=&fromadv=udbclsd_r yy语音的注册页面，账号、密码、重复密码及提交按钮的实现这里不再讲解，利用selenium非常容易实现 本文只讲解如何识别绿色框里图片中文字的识别，并使用鼠标正确点击思路： 1. 利用爬虫技术将绿色图片下载到本地 2. 使用第三方工具（本文使用超级鹰）识别图片中的文字，并返回每个文字的坐标位置 3. 根据坐标位置，使用鼠标点击 这么一说是不是显得非常简单啦！...
selenium 关于selenium的基本操作 # 通过 id 方式定位 driver.find_element_by_id("kw").send_keys("selenium")# 通过 name 方式定位 # driver.find_element_by_name("wd").send_keys("selenium")# 通过 tag name 方式定位 # driver.find_element_by_tag_name("input").send_keys("selenium")# 通过 class name 方式定位 # driver.find_element_by_class_name("s_ipt").send_keys("selenium")# 通过 CSS 方式定位 # driver.find_el...
在前面一章我们了解了 Ajax 的分析和抓取方式，这种页面其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax 我们仍然可以借助于 Requests 或 Urllib 来实现数据的抓取。 不过 JavaScript 动态渲染的页面不止 Ajax 这一种。比如中国青年网：http://news.youth.cn/gn/，它的分页部分是由 JavaScript 生成的，并非原始 HTML 代码，这其中并不包含 Ajax 请求。如 ECharts 的官方实例：http://echarts.baidu.com/demo…，...
爬虫可以简单分为几步：抓取页面、分析页面、存储数据。 在第一步抓取页面的过程中，我们就需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作，在本书中我们用到的第三方库有 Requests、Selenium、Aiotttp 等。 在本节我们介绍一下这些请求库的安装方法。 1.1.1 Requests的安装 由于 Requests 属于第三方库，也就是 Python 默认不会自带这个库，需要我们手动去安装，下面我们首先看一下它的安装过程...
下载对应版本的chromedriver.exe： http://chromedriver.storage.googleapis.com/index.html 下载后将chromedriver.exe放到python安装目录的Scripts目录下from selenium import webdriver import osdriver = webdriver.Chrome() driver.get(http://www.baidu.com) driver.close() # 需要关闭driver os.system(taskkill /f /im chromedriver.exe) #需要杀掉进程 #如果pycharm执行os.system操作产生乱码： # File > Settings > Edito...
本文内容摘自：https://selenium-python.readthedocs.io/locating-elements.html 定位元素有很多种方式，你可以选择适合你使用情况的。Selenium 提供如下几种定位元素的方式：find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector上述定位方式只定位页面中的拥有同样类...
# web驱动 from selenium import webdriver from selenium.webdriver import ActionChains # 破解滑动验证码的时候用的 可以拖动图片 from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys # 键盘按键操作 from selenium.webdriver.support import expected_conditions as EC # 和下面WebDriverWait一起用的 from selenium.webdriver.support...
from selenium import webdriver # web驱动 from selenium.webdriver.common.keys import Keys # 键盘按键操作 import timeimport timedriver = webdriver.Chrome()try:# 隐式等待: 需要在get之前调用# 等待任意元素加载10秒driver.implicitly_wait(10)driver.get(https://www.baidu.com/)# 显式等待: 需要在get之后调用time.sleep(5)===============所有方法===================element是查找一个标签elements是查找所有标签# 自...
selenium 模拟登录： from selenium import webdriver import timedriver = webdriver.Chrome() driver.get("https://www.douban.com/") driver.find_element_by_id("form_email").send_keys("your account") driver.find_element_by_id("form_password").send_keys("password")time.sleep(5)driver.find_element_by_class_name("bn-submit").click()cookies = {i["name"]:i["value"] for i in driver.get_cookies()}print(cookie...