以下是为您整理出来关于【爬虫基础知识】合集内容，如果觉得还不错，请帮忙转发推荐。
数据提取方法一利用json数据交换格式，看起来像python类型（列表，字典）的字符串使用json之前需要导入 import json哪里会返回json的数据 浏览器切换到手机版抓包appjson.loads 把json字符串转换为python类型json.loads(json字符串)json.dumps 把python类型转化为json字符串（用于保存数据到文本中）json.dumps({})json.dumps(ret,ensure_ascii=False,indent=2) ensure_ascii:让中文显示成中文indent:能够让下一级在上一级的基础上...
一、cookie和session： 1、cookie和session的定义： cookie是网站用来辨别用户身份，进行会话跟踪，存储在本地终端上的数据。 session起始含义是指有始有终的一系列动作和消息。在web中，session主要用来在服务器存储特定用户对象会话所需要的信息。 2、cookie和session产生的原因： http协议是一个无状态协议，在特定操作的时候，需要保存信息，进而产生了cookie和session。 ...
一、多线程爬虫（一）程序、进程与线程： 程序：相当于一个应用。 进程：程序运行资源（内存资源）的最小分配单位，一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。 线程的划分尺度比进程小。 （二）为什么多进程和多线程可以提高程序的运行速度？ 1、提高程序的运行速度的第一种方法：提高CPU的利用率。 ...
css规则：选择器，以及一条或者多条生命。selector{declaration1;,,,;desclarationN}每条声明是由一个属性和一个值组成property:value例子：h1{color:red;fontsize:14px} 元素选择器：直接选择文档元素比如head,p类选择器：元素的class属性，比如<h1 class =”important”>类名就是important.important选择所有有这个类属性的元素可以结合元素选择器，比如p.important id选择器元素的id属性，比如<h1 id=”aa”>id就是aa#aa用于选...
equests requests模块的介绍：能够帮助我们发起请求获取响应 requests的基本使用：requests.get(url) 以及response常见的属性： response.text 响应体 str类型 respones.content 响应体 bytes类型 response.status_code 响应状态码 response.request.headers 响应对应的请求头 response.headers 响应头 response.request._cookies 响应对应请求的cookie response.cookies 响应的cookie（经过了set-cookie动作） 掌握 requests.text...
1.1 定义 网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com/ URL就是同意资源定位符(Uniform Resource Locator)，它的一般格式如下(带方括号[]的为可选项)： protocol :// hostname[:port] / path / [;parameters][?query...
1.爬虫可分为 ——通用爬虫（搜索引擎） ——聚焦爬虫（特定网页） ——增量式爬虫（只爬更新的内容）等 本文主要总结通用网络和聚焦网络爬虫的知识。 2.爬虫的组成有 ——控制节点 ——爬虫节点 ——资源库 个人简单理解就是 ——控制节点相当CPU，根据url分配线程 ——爬虫节点相当于CPU负责进行具体的爬取数据 3.爬虫实现原理4.实际爬虫举例 疫情相关数据爬取 import hashlib,json,random,requests,urllib.parse import urllib....