数据提取方法一利用json数据交换格式，看起来像python类型（列表，字典）的字符串使用json之前需要导入 import json哪里会返回json的数据 浏览器切换到手机版抓包appjson.loads 把json字符串转换为python类型json.loads(json字符串)json.dumps 把python类型转化为json字符串（用于保存数据到文本中）json.dumps({})json.dumps(ret,ensure_ascii=False,indent=2) ensure_ascii:让中文显示成中文indent:能够让下一级在上一级的基础上...
一、cookie和session： 1、cookie和session的定义： cookie是网站用来辨别用户身份，进行会话跟踪，存储在本地终端上的数据。 session起始含义是指有始有终的一系列动作和消息。在web中，session主要用来在服务器存储特定用户对象会话所需要的信息。 2、cookie和session产生的原因： http协议是一个无状态协议，在特定操作的时候，需要保存信息，进而产生了cookie和session。 ...
一、多线程爬虫（一）程序、进程与线程： 程序：相当于一个应用。 进程：程序运行资源（内存资源）的最小分配单位，一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。 线程的划分尺度比进程小。 （二）为什么多进程和多线程可以提高程序的运行速度？ 1、提高程序的运行速度的第一种方法：提高CPU的利用率。 ...
css规则：选择器，以及一条或者多条生命。selector{declaration1;,,,;desclarationN}每条声明是由一个属性和一个值组成property:value例子：h1{color:red;fontsize:14px} 元素选择器：直接选择文档元素比如head,p类选择器：元素的class属性，比如<h1 class =”important”>类名就是important.important选择所有有这个类属性的元素可以结合元素选择器，比如p.important id选择器元素的id属性，比如<h1 id=”aa”>id就是aa#aa用于选...
Request请求方式 常用的有get post请求的url 第一部分是协议(或称为服务方式)第二部分是存有该资源的主机IP地址(有时也包括端口号)第三部分是主机资源的具体地址，如目录和文件名等请求头 包含请求时的头部信息，如User-Agent,Host,Cookies等信息请求体 请求时携带的数据，如提交表单数据时候的表单数据Response 所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码，以及描述状态的短语，彼此由空格分隔...
1.爬虫可分为 ——通用爬虫（搜索引擎） ——聚焦爬虫（特定网页） ——增量式爬虫（只爬更新的内容）等 本文主要总结通用网络和聚焦网络爬虫的知识。 2.爬虫的组成有 ——控制节点 ——爬虫节点 ——资源库 个人简单理解就是 ——控制节点相当CPU，根据url分配线程 ——爬虫节点相当于CPU负责进行具体的爬取数据 3.爬虫实现原理4.实际爬虫举例 疫情相关数据爬取 import hashlib,json,random,requests,urllib.parse import urllib....
1、发生异常会导致程序中断 2、捕获异常 try:...... except 错误名: 3、except后面可以输出错误提示 4、获取错误描述 5、捕获所有异常 6、try,,,finally和嵌套
1.1 定义 网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com/ URL就是同意资源定位符(Uniform Resource Locator)，它的一般格式如下(带方括号[]的为可选项)： protocol :// hostname[:port] / path / [;parameters][?query...
说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic 。我的第一份正式工作就是使用 webmagic 编写数据采集程序，当时参与了一个舆情分析系统的开发，这里面涉及到了大量网站的新闻采集，我们就使用了 webmagic 进行采集...
equests requests模块的介绍：能够帮助我们发起请求获取响应 requests的基本使用：requests.get(url) 以及response常见的属性： response.text 响应体 str类型 respones.content 响应体 bytes类型 response.status_code 响应状态码 response.request.headers 响应对应的请求头 response.headers 响应头 response.request._cookies 响应对应请求的cookie response.cookies 响应的cookie（经过了set-cookie动作） 掌握 requests.text...