今日网站aHR0cHM6Ly9iei56enptaC5jbi8=这个网站来自东哥读者群的读者提问（截图为转发消息）抓包分析打开目标网站，需要采集的是网站中的图片开发者工具中抓到的包是这样的页面上加载的图片名字是没有规律的，且网页上不点击图片是没有办法显示高清图片的，所以需要找到这些图片名称是哪里返回的。通过查找，可以看到图片名称是经过getJson这个包返回的，并且返回的包中还标识了分辨率所以只要构建这个请求，拿到返回值再拼接出壁纸...
今日网站aHR0cHM6Ly93ZWIuemtoMzYwLmNvbS9saXN0L2MtMjYwMTg2Lmh0bWw/c2hvd1R5cGU9cGljJmNscD0x这个网站是在某交流群看到的，随手保存下来作为今天的素材抓包分析与加密定位先看看抓包的结果，可以看到请求的header中包含两个未知的参数，分别是zkhs和zkhst进一步检索参数zkhst和zkhs，可以发现这两个参数的值没有做过混淆并且都有对应的搜索结果可以在文件中找到下面这几个关键位置加密分析在逻辑里比较明显的是e.headers.zkhs?=?o...
前言 相信说起“淘宝” ，大家都不会感到陌生吧。作为中国最大的电商平台，淘宝仿佛已经与我们的生活紧密相连。今天就让我们随便愉快地利用Python爬取并简单分析爱淘宝网商品数据。 开发工具 Python版本：3.6.4 相关模块： numpy模块； seaborn模块； requests模块； pyecharts模块； pandas模块； matplotlib模块； wordcloud模块； scipy模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相...
前言 之前发Python爬取并分析拉勾网招聘数据的时候似乎有人让我爬爬其他地方的招聘数据，那么今天给大家爬取下51job招聘数据 开发工具 Python版本：3.6.4 相关模块： requests模块； pyecharts模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块即可。 数据爬取 #####（1）思路 我们要爬取的目标数据是这些：获取数据的链接格式为： https://search.51job.com/list/000000,000000,000...
话不多说直接开始 参数位置分析 先来看看加密请求的参数，入图1： 除了搜索加密参数之外，同样还要注意id 和 calssname等标志性的属性，能够帮助我们进一步定位加密位置。通过密码框的 id=password_txt 可以快速定位至网站的加密入口，如图二： 然后再通过逐步调试进入虚拟引擎中加密码的位置打上断点，鼠标悬停，进入login() 函数，如图三： 上图中的encrypt这个方法才是我们需要的加密方法，所以继续进去看逻辑。 鼠标悬停，选...
春节档贺岁片《你好，李焕英》，于2月23日最新数据出来后，票房已经突破42亿，并且赶超其他贺岁片，成为2021的一匹黑马。从小品演员再到导演，贾玲处女作《你好李焕英》，为何能这么火？接下来荣仔带你运用Python借助电影网站从各个角度剖析这部电影喜得高票房的原因。目录 1 影评爬取并词云分析 1.1 网站选取 1.2 爬取思路 1.3 代码总观 2 实时票房搜集 2.1 网站选择 2.2 代码编写 2.3 结果展示 3 剧组照片爬取 3.1 网站选择 3....
生活不止眼前的苟且，还有诗和远方。如果你连苟且都做不到，何来的诗和远方呢？ 分享一下我从内心厌恶程序员到毕业后找不到工作的无奈，参加培训，再到两年Python程序员的心路历程。 我大学考上的是普通二本，学习的专业是经济学（~嗯，这个大家应该懂，普通二本理工院校的文科专业，我们系有2000人，你们猜猜=几个理工系的人数？）。大学期间，参加过学生会参加过社团，懵懵懂懂得度过了大一大二的浪漫校园生活，那时候的生活真的...
兄弟!毫无套路!年轻人，耗子尾汁!! ! 福利分享: 1、本套视频—共400集,本套视频共分4季第—季:Python基础。 第二季:Python深入和扩展 第三季:网络编程、多线程、扩展库 第四季:算法、Python源码、函数式编程、手工实现神经网络我现在正在发放中!(如下图)
08 数据采集：如何自动化采集数据？ 重点介绍爬虫做抓取 1.Python 爬虫 1）使用 Requests 爬取内容。我们可以使用 Requests 库来抓取网页信息。Requests 库可以说是 Python 爬虫的利器，也就是 Python 的 HTTP 库，通过这个库爬取网页中的数据，非常方便，可以帮我们节约大量的时间。 2）使用 XPath 解析内容。XPath 是 XML Path 的缩写，也就是 XML 路径语言。它是一种用来确定 XML 文档中某部分位置的语言，在开发中经常...
今日网站： aHR0cHM6Ly9zZWFyY2guZG91YmFuLmNvbS9ib29rL3N1YmplY3Rfc2VhcmNoP3NlYXJjaF90ZXh0PSVFNCVCOCU5QyVFOSU4NyU4RSVFNSU5QyVBRCVFNSU5MCVCRSZjYXQ9MTAwMQ== 抓包与定位加密位置 上面就是这次需要分析的网站了，先简单看看抓包的结果。【图1-1】图1-1 抓包很清楚没什么幺蛾子，这次分析的网站加密的地方其实是他的搜索结果。 通过查看网页源码可以看到加密的地方。【图1-2】图1-2 这里的 window._ _DATA 的值就是搜索的结果。...
今日份网站( 由读者提供网址 ) aHR0cDovL2FjLnNjbW9yLmNvbS8= 抓包分析与加密定位 先来看看加密的内容密文【图1-1】图1-1 看过前面文章的朋友就会说，这个和 Base64 的加密结果很像，有猜想就直接搞起呗。【图1-2】 图1-2 解密的结果是一串乱码，说明不是 Base64 ，继续找找有没有别的点可以分析。 我们可以看到这里所有的加密字符串都是 autourl 数组的一个元素，那我们搜索 autourl 试试。【图1-3】 图1-3 只有两个搜索结果，和现...
上次咸鱼对关于 AES 的JS加密方法做了总结，这次把咸鱼遇到的 AES 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次。 关于 AES 的处理可以参考下面这篇文章： Python爬虫进阶必备 | 关于AES 的案例分析与总结 XX 财险 aHR0cHM6Ly90aWFuYXcuOTU1MDUuY24vdGFjcGMvIy9sb2dpbg== 抓包分析抓包分析，分析加密字段 jsonKey 加密定位 直接全局搜索 jsonKey ，可以看到只有一个相关的文件点开搜索的结果继续检索，找到...
这次来分析某个小说网站。aHR0cHM6Ly9nLmhvbmdzaHUuY29tL2NvbnRlbnQvOTM0MTYvMTM4Nzc5MTIuaHRtbA== 分析请求 先来看看页面的请求【图1-1】图1-1经过查看请求，并没有请求的加密参数，但是响应的内容却不正常，许多文字在响应中都变成了 span 标签【图1-2】图1-2这样的反爬虫措施，如何分析？ 定位加密 既然这里替换的内容都是 span 那就从它开始入手吧。可以看到应该显示在正文的内容显示在 CSS 的 content 中【图2-1】。图2-1这个...
今日目标站 aHR0cHM6Ly9tLndjYmNoaW5hLmNvbS9sb2dpbi9vdGhlci1sb2dpbi5odG1s 分析请求 老规矩先抓包分析请求【图1-1】：图1-1 可以看到提交的参数是 json 格式的数据，分别有 sign、password 这两个比较明显的加密，先逐个搜索一下。 定位加密 - sign 直接通过搜索参数名是可以直接定位到加密位置的。【图2-1】图2-1 打开【图2-1】中第二个搜索结果，可以看到比较明显的加密位置。【图2-2】 图2-2 重新请求可以直接断在我们断点的位...
目标网站： aHR0cHM6Ly9wYXNzcG9ydC41OC5jb20vbG9naW4vP3BhdGg9aHR0cHMlM0EvL2Z6LjU4LmNvbS8mUEdUSUQ9MGQxMDAwMDAtMDAxMy0wMjk0LTFjZWItYjU3NTBiZDIwNmU5JkNsaWNrSUQ9Mg== 抓包分析与加密定位 老规矩先抓包看看【图1-1】图1-1 今天主要分析的是划线的三个参数，先一个一个来研究一下。 先看看密码的加密，按照之前的思路我们测试了password的相关搜索项，但是搜索出来的结果都不尽如人意。【图1-2】 同时这个请求也不是XHR请求，所...