最近想搞一下爬虫的模拟登陆，就想直接拿CSDN练手了，一开始还想着一篇文章写完，下到一半发现，大意了，CSDN有加密，得慢慢啃了，对我这个新手来说，相当有难度，所以就分成好几篇啦。 打开F12，查看网页源码点击F5刷新，并勾选preserve log勾选preserve log 是为了查看登陆成功后，也就是页面刷新前的网页文件，我们需要搞清楚它提交了什么样的参数。 进行一次账号登陆 这一次账号登陆就是为了搞清楚发送给服务器的参数，在这里建...
1. Scrapy-Request和Response（请求和响应） Scrapy的Request和Response对象用于爬网网站。 通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。 sequenceDiagram 爬虫->>Request: 创建 Request->>Response:获取下载数据 Response->>爬虫:数据2. Request对象 class scrapy.http.Request(url[, callback, method='GET', headers, body, c...
1. Cookie 介绍 HTTP 协议是无状态的。因此，若不借助其他手段，远程的服务器就无法知道以前和客户端做了哪些通信。Cookie 就是「其他手段」之一。 Cookie 一个典型的应用场景，就是用于记录用户在网站上的登录状态。用户登录成功后，服务器下发一个（通常是加密了的）Cookie 文件。 客户端（通常是网页浏览器）将收到的 Cookie 文件保存起来。 下次客户端与服务器连接时，将 Cookie 文件发送给服务器，由服务器校验其含义...
思路输入用户名密码点击登陆 获取验证码的原始图片与有缺口的图片 找出两张图片的缺口起始处 拖动碎片功能代码段 # 使用到的库 from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.action_chains import ActionChains from PIL import Imag...
首先进入github登录页：https://github.com/login 输入账号密码，打开开发者工具，在Network页勾选上Preserve Log（显示持续日志），点击登录，查看Session请求，找到其请求的URL与Form Data、Headers。此时除Cookies与authenticity_token无法直接获得外，其余模拟登录所需参数皆已获得。 我们进入登录页点击登录后，浏览器会向服务器发送这些信息，所以这些信息是在登录页就已设置好的。所以我们在登录页源码中搜索authenticity_t...
简介： 这是一个基于python3而写的爬虫，爬取的网站的脉脉网( https://maimai.cn/ )，在搜索框中搜索“CHO”，并切换到“人脉”选项卡，点击姓名，进入详情页，爬取其详细信息 Python学习群：683380553，有大牛答疑，有资源共享！是一个非常不错的交流基地！欢迎喜欢Python的小伙伴！ 获取的具体信息有： 基本信息、工作经历、教育经历、职业标签及其认可数、点评信息 几度关系：一度、二度、三度等 写给用户的 注意：如果...
1.cookies池的搭建Cookies池需要有自动生成 Cookies、定时检测 Cookies、提供随机 Cookies等几大核心功能。Cookies 池架构的基本模块分为 4 块:存储模块 、 生成模块、检测模块和接口模块 。 每个模块的 功能如下 。存储模块负责存储每个账号的用户名密码以及每个账号对应的 Cookies 信息，同时还需要提供一些方法来实现方便的存取操作 。 生成模块负责生成新的 Cookies。 此模块会从存储模块逐个拿取账号的用户名和密码， 然后模拟...