 一个典型的AES案例AES 的案例之前有推荐大家关于 AES 加密的案例文章，不少朋友问我加密解决了有什么用？ 最大的用途当然就是不用模拟请求，大大提高了爬取效率。 可能之前举例都是使用的 AES 加密的密码，所以不少朋...
上次咸鱼对关于 AES 的JS加密方法做了总结，这次把咸鱼遇到的 AES 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次。 关于 AES 的处理可以参考下面这篇文章： Python爬虫进阶必备 | 关于AES 的案例分析与总结 XX 财险 aHR0cHM6Ly90aWFuYXcuOTU1MDUuY24vdGFjcGMvIy9sb2dpbg== 抓包分析抓包分析，分析加密字段 jsonKey 加密定位 直接全局搜索 jsonKey ，可以看到只有一个相关的文件点开搜索的结果继续检索，找到...
这次来分析某个小说网站。aHR0cHM6Ly9nLmhvbmdzaHUuY29tL2NvbnRlbnQvOTM0MTYvMTM4Nzc5MTIuaHRtbA== 分析请求 先来看看页面的请求【图1-1】图1-1经过查看请求，并没有请求的加密参数，但是响应的内容却不正常，许多文字在响应中都变成了 span 标签【图1-2】图1-2这样的反爬虫措施，如何分析？ 定位加密 既然这里替换的内容都是 span 那就从它开始入手吧。可以看到应该显示在正文的内容显示在 CSS 的 content 中【图2-1】。图2-1这个...
今日目标站 aHR0cHM6Ly9tLndjYmNoaW5hLmNvbS9sb2dpbi9vdGhlci1sb2dpbi5odG1s 分析请求 老规矩先抓包分析请求【图1-1】：图1-1 可以看到提交的参数是 json 格式的数据，分别有 sign、password 这两个比较明显的加密，先逐个搜索一下。 定位加密 - sign 直接通过搜索参数名是可以直接定位到加密位置的。【图2-1】图2-1 打开【图2-1】中第二个搜索结果，可以看到比较明显的加密位置。【图2-2】 图2-2 重新请求可以直接断在我们断点的位...
上次咸鱼对关于 MD5 hash 的JS加密方法做了总结，这次把咸鱼遇到的 MD5 hash 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次。 关于 MD5 HASH 的处理可以参考下面这篇文章： Python爬虫进阶必备 | 关于MD5 Hash 的案例分析与总结 X金所 aHR0cHM6Ly93d3cuaGZheC5jb20vbG9naW4uaHRtbCMvP3JzcmM9aHR0cHMlM0ElMkYlMkZ3d3cuaGZheC5jb20lMkYlMjMlMkY= 抓包分析 分析抓包，分析加密字段 password加密定位 搜索加密参...
目标网站： aHR0cHM6Ly9wYXNzcG9ydC41OC5jb20vbG9naW4vP3BhdGg9aHR0cHMlM0EvL2Z6LjU4LmNvbS8mUEdUSUQ9MGQxMDAwMDAtMDAxMy0wMjk0LTFjZWItYjU3NTBiZDIwNmU5JkNsaWNrSUQ9Mg== 抓包分析与加密定位 老规矩先抓包看看【图1-1】图1-1 今天主要分析的是划线的三个参数，先一个一个来研究一下。 先看看密码的加密，按照之前的思路我们测试了password的相关搜索项，但是搜索出来的结果都不尽如人意。【图1-2】 同时这个请求也不是XHR请求，所...
今日份的网站 aHR0cDovL3d3dy5kZGt5LmNvbS9jb21tb2RpdHkuaHRtbD9kZGt5Y2FjaGU9YTdiMTllODc5ZDJmMmYyNzlkMzU2ZjVhZmE2ZDVjZmY= 这个网站的加密比较简单，是那种新手做过一遍就对 JS 逆向充满信心的小练手。 分析请求 先分析请求，看看需要的参数有没什么搞头【图1-1】图1-1 比较明显的是 sign 其他的参数好像没有什么特别的地方。 先定位 sign 的位置【图1-2】图1-2 直接搜索参数就看到结果了，点击搜索的结果文件在文件内再搜索一次...
反爬机制 验证码。识别验证码图片中的数据，用于模拟登陆操作。 识别验证码的操作： 人工肉眼识别。（不推荐）第三方自动识别 云打码（挂掉了）接上在线识别图片网图鉴网 脚本 import base64 import json import requestsdef base64_api(uname, pwd, img):with open(img, 'rb') as f:base64_data = base64.b64encode(f.read())b64 = base64_data.decode()data = {"username": uname, "password": pwd, "image": b64}result = jso...
import time import requests import re from openpyxl import workbook#导入我们要用到的库 from bs4 import BeautifulSoup as bs class TestYourWord:#这个功能复制下来，并且做点改良，搞一个网页版没有的功能 ———— 自动生成错词本def __init__(self):self.start_url = 'https://www.shanbay.com/bdc/client/vocabtest/welcome'#请求头，浏览器模拟#设置这一步的目的是为了伪装我们的爬虫，防止被识别出来#由requests自动生...
我们在玩爬虫的时候对于一些没做什么反爬的网站来说使用简单的库三两下就能把数据爬取下来了不过对于一些别人认为比较重要的数据来说可就没有那么容易了他们认为这些数据很重要但是又不得不展示给客户所以只能想尽办法比如：对方是如何丧心病狂的通过 css 加密让你爬不到数据的python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破有人说对于这些前端所搞的事情用 selenium 或者 Puppeteer 不就得了它们确实很强大不过终究还...
爬虫简介 网络爬虫爬虫指在使用程序模拟浏览器向服务端发出网络请求，以便获取服务端返回的内容。但这些内容可能涉及到一些机密信息，所以爬虫领域目前来讲是属于灰色领域，切勿违法犯罪。爬虫本身作为一门技术没有任何问题，关键是看人们怎么去使用它《中华人民共和国刑法》第二百八十五条规定：非法获取计算机信息系统数据、非法控制计算机信息系统罪，是指违反国家规定，侵入国家事务、国防建设、尖端科学技术领域以外的计算机信...
什么是urllib？python内置的http请求库， urllib.request请求库 urllib.error 异常处理模块 urllib.parse 解析url解析模块 urllib.robotparser 解析robots.txt解析模块 相比python2变化, python2用法 import urllib2 response = urllib2.urlopen(‘http://www.qichamao.com’) python3用法 import urllib.request response = urllib.request.urlopen(“www.qichamao.com”) 在cmd命令行输入jupyter notebook操作链接http://localho...
python中基于网络请求的模块有： urllib模块requests模块 √ 高效简洁 requests模块： 基于网络请求，功能强大，简单便捷，效率极高作用：模拟浏览器发请求 requests使用步骤拆分流程： 指定url对url发起请求获取响应数据持久化存储 环境安装： pip install requests 代码实战： 爬取搜狗首页数据 import requestsurl = 'https://www.sogou.com/'if __name__ == "__main__":#get方法会返回一个响应对象response = requests.get(url...
网络爬虫：又被称为网页蜘蛛，网络机器人，是一种按照一定规则自动抓取网上信息的程序或脚本。有啥作用：通过该技术可快速高效的在互联网上获取自己想要的大数据，是大数据分析的基础。基础知识：想要用爬虫技术到网上爬取自己想要的数据，需要大概的了解一下W3C标准（HTML、JSON、XPath等）与HTTP协议标准（HTTP请求过程、请求方式、Cookie状态管理等）。百度地图API百度地图API：百度地图大家都有用过，但这个API又是哈？百度地图...
scrapy是一个框架 scrapy结构认识