学习了之前的基础和爬虫基础之后，我们要开始学习网络请求了。文章目录urllib的介绍发送请求发送请求-Request请求IP代理使用cookie异常处理urllib库的四大模块：案例代码案例 先来看看urlliburllib的介绍urllib是Python自带的标准库中用于网络请求的库，无需安装，直接引用即可。 主要用来做爬虫开发，API数据获取和测试中使用。urllib库的四大模块：urllib.request: 用于打开和读取urlurllib.error : 包含提出的例外，urllib.requ...
文章目录常见的协议常见的请求方式常见的请求头参数：常见的相应状态码HTTP的请求相应过程使用浏览器进行网站分析session 与cookie常见的协议http和https http协议： 超文本传输协议，是一个发布和接受HTML页面的方法，端口是80https 协议：http协议的加密版本，在HTTP下加上了ssl层，端口是443下面访问的是美团的官网： 可以看到端口是443URL和RUI常见的请求方式http协议规定了浏览器与服务器进行数据交互过程中必须要选择一种交互...
在学习Python爬虫部分，需要你已经学过Python基础和前端的相关知识。文章目录a) 爬虫的概念b) 爬虫分类c) 爬虫的原理d) 各种语言写爬虫的对比开发环境介绍：数据的来源及作用数据的作用爬虫的相关概念开发环境介绍：window10 操作系统Python解释器3.8集成开发环境pycharm数据的来源及作用数据的来源有哪些？用户产生的数据： 百度指数政府统计的数据： 政府数据数据管理公司： 聚合数据自己爬取的数据： 爬取网站上的某些视频数据的...
import sys from bs4 import BeautifulSoup #网页解析，获取数据 import re #正则表达式，进行文字匹配 import urllib.request,urllib.error #制定URL,获取网页数据 import xlwt #进行excel操作 import sqlite3 #进行SQLite 数据库操作def main():baseurl = "https://movie.douban.com/top250?start="#1.爬取网页datalist = getData(baseurl)savepath=r'.\\douban250.xls'#3.保存数据saveData(savepath,datalist)#创建正则表达式对...
1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.com/，然后把爬取结果保存到 MySQL 数据库。 2. 准备工作 首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Python 库有 aiohttp、requests、redis-py、pyquery、Flask、PyMySQL，如这些库没有安装可以参考第 1 章的安装说明。 3. 爬取分析 搜狗对微信公众平台的公众号...
Python爬虫入门 1.利用requests库获取内容 构造请求头get方法获取内容 #导入所需第三方库 import requests from lxml import etree #构造请求头，模拟真人访问，如果不加，会直接以爬虫身份访问，可能获取不到内容。（不懂的话，直接复制使用就可以） headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}1.1.以从浏览器搜索列表获取...
学习了之前的基础和爬虫基础之后，我们要开始学习网络请求了。 文章目录 urllib的介绍urllib库的四大模块：案例 发送请求代码案例 发送请求-Request请求IP代理先来看看urlliburllib的介绍 urllib是Python自带的标准库中用于网络请求的库，无需安装，直接引用即可。 主要用来做爬虫开发，API数据获取和测试中使用。 urllib库的四大模块： urllib.request: 用于打开和读取urlurllib.error : 包含提出的例外，urllib.requesturllib.pa...
文章目录 前言一、分析URL二、获取影评三、代码实现四、词云前言 爬取豆瓣影评，爬虫代码已经封装好，修改请求头 和url即可采集你想要采集的电影影评提示：以下是本篇文章正文内容，下面案例可供参考 一、分析URL 观察url我们可以发发现其url变化的规律，页数增加 start也增加，start=(页数-1)*20 第一页：https://movie.douban.com/subject/35158160/reviews?start=0 第二页：https://movie.douban.com/subject/35158160/reviews?...
coding=utf-8 “”" author:lei function: “”" import requests from lxml import etree import json class TieBaBaSa(object): def __init__(self, name):self.url = "https://tieba.baidu.com/f?ie=utf-8&kw={}".format(name)self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}def get_data(self, url):response = requ...
这次把咸鱼遇到的 RSA 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次，关于 RSA 的加解密可以参考之前的文章，这里不做赘述。实战案例浅析JS加密 - 基础总结篇XX 门户aHR0cHM6Ly9sb2dpbi4xMDA4Ni5jbi9odG1sL2xvZ2luL3RvdWNoLmh0bWw=请求分析分析加密参数 password加密定位搜索参数 password通过全局搜索找到一系列有关的文件，向下翻可以看到有类似 encrypt 这里加密的字样，我们追进去看看。打上断点，重新...
抓包分析与加密定位 先来看看加密的内容密文【图1-1】 图1-1 看过前面文章的朋友就会说，这个和 Base64 的加密结果很像，有猜想就直接搞起呗。【图1-2】 图1-2 解密的结果是一串乱码，说明不是 Base64 ，继续找找有没有别的点可以分析。 我们可以看到这里所有的加密字符串都是 autourl 数组的一个元素，那我们搜索 autourl 试试。【图1-3】 图1-3 只有两个搜索结果，和现有的内容比较相像的是第二个结果，我们跟进去继续搜索【图1-...
建议收藏 | 最全的 JS 逆向入门教程合集目标网站aHR0cHM6Ly94aWFwaS54aWFwaWJ1eS5jb20vc2VhcmNoP2tleXdvcmQ9JUU3JTk0JUI3JUU3JUFCJUE1JUU0JUI4JThBJUU4JUExJUEz先来看看这个网站需要分析的加密是什么？这次的网站例子来自「咸鱼的Python交流群」，一个群友遇到之后发到群里的。【图1-1】图1-1在这个网站搜索商品的时候会出现请求头if-none-match，之前咸鱼的很多例子都没有写到如何分析请求头的加密参数应该如何分析，所以拿这个例...
先来讲讲为什么要用到 ReRes ?在爬虫开发的过程中，想要修改网站的 JS 来规避网站的无限 Debugger ，或者想给线上的 JS 加点调试的语句，我们就需要把远程的 JS 映射到本地的文件上，这样就可以通过修改本地的文件进行线上的调试。通常面对这样的需求，我们可以通过一些工具完成：Windows 下可以使用 Fiddler ，Mac 下可以使用 CharlesChrome 开发工具自带的 Override ReRes 和 Resource Override 插件Whistle - 跨平台 web 调试代...
先来讲讲为什么要用到 ReRes ?在爬虫开发的过程中，想要修改网站的 JS 来规避网站的无限 Debugger ，或者想给线上的 JS 加点调试的语句，我们就需要把远程的 JS 映射到本地的文件上，这样就可以通过修改本地的文件进行线上的调试。通常面对这样的需求，我们可以通过一些工具完成：Windows 下可以使用 Fiddler ，Mac 下可以使用 CharlesChrome 开发工具自带的 Override ReRes 和 Resource Override 插件Whistle - 跨平台 web 调试代...
建议收藏 | 最全的 JS 逆向入门教程合集目标网站aHR0cHM6Ly93d3cuZ3VhemkuY29tLw==这个网站在爬取的时候需要先获取一个名为antipas Cookie，见名知意，接下来就一块看看这个字段怎么搞。加密定位既然是 Cookie 字段，常用的手法是找请求包，看看有没有set-cookie这样的操作。找了一通没有发现关于antipas这个字段的写入操作。可以猜测到应该和之前裁判文书网一样的操作，访问首页后直接生成 Cookie 字段然后跳转。为了验证我的这个...