Python 爬虫基础Selenium库的使用:https://blog.csdn.net/weixin_36279318/article/details/79475388 Web测试工具Selenium入门心得:http://www.selenium.org.cn/1954.html
1.爬虫：请求网站并提取数据的自动化程序2.爬虫的基本流程 1.发起请求 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。 2.获取响应内容 如果服务器能正常响应，会得到一个Response,Response的内容便是所要获取的页面内容，类型有可能有HTML,Json字符串，二进制数据（如图片视频）等类型。 3.解析内容 得到的内容可能是HTML，可以用正则表达式...
简介 写爬虫有时会面临封ip的问题，使用代理就可以伪装我们的IP。那么我们爬虫请求的时候可能就需要非常多的IP，这里我们维护了一个代理池：池内有非常多的IP，代理IP队列，我们可以向池内放代理ip，也可以从代理池中请求ip。我们需要定期检查和更新，保证代理池中的ip可用。 Redis主要用于维护池，提供池的队列存储，flask主要用于实现代理池接口，使用flask可以从代理池拿出一个代理，这个过程就是使用flask做一个接口，通过web的...
1.进程 vs. 线程 我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现Master-Worker，主线程就是Master，其他线程就是Worker。 多...
版权声明：一记录己之所学，一方便后人，转载的同学请注明出处。 https://blog.csdn.net/cc_xz/article/details/78710314 转载的老板请注明出处：http://blog.csdn.net/cc_xz/article/details/78710314万分感谢！在本篇中，你将了解到： 1.爬虫概念的基本论述。 2.Python的虚拟环境。 3.如何创建一个Scrapy项目。 4.Scrapy框架结构及执行流程。 爬虫概念的基本论述： 什么是爬虫？ 当你看到这篇文章时，是使用浏览器打开了C...
爬虫基础 # 爬虫基本知识参考链接:https://www.cnblogs.com/angle6-liu/p/10459132.html """ 一 爬虫简介1.1 什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程1.2 哪些语言支持爬虫1.2.1 php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。1.2.2 java：可以实现爬虫。java可以非常好的处理和实现...
1.废话不多说，直接上源码，有注释，相信你们能看到 """ objective:爬取任意偶像/单词的百度图片(eg:佟丽娅、清纯小姐姐、蔡徐坤) coding: UTF-8 time:2021/5/5 author:始终是个小白 """# 导入相关库 import re import requests import osdef dowmload(html, search_word, j):pic_url = re.findall('"objURL":"(.*?)",.*?"fromURL"', html, re.S) # 利用正则表达式找每一个图片的网址# print(pic_url)n = j * 60for k in pic_url:...
爬虫 首先要知道url是一个统一资源定位符，它的格式是协议名://资源名（在爬虫中常爬取的是HTTP和HTTPS协议，HTTP协议是超文本传输协议，用于在网络上传输超文本数据到本地浏览器的传送协议，而HTTPS是超文本传输安全协议，简言之就是HTTP的安全版，在HTTP下加入SSL层）。我们在向服务器发送请求的常用方法是get和post。我们在百度上搜索的内容会出现在url的wd=的后面，那么我们在登陆时提交的用户名和密码名就会暴露在url中，所以...
虚拟环境 同一台服务器上不同的项目可能依赖的包不同版本，新版本默认覆盖旧版本，可能导致其他项目无法运行，通过虚拟环境，完全隔离各个项目各个版本的依赖包，实现运行环境互不影响。 virtualenv pip install virtualenv 安装virtualenv python -m pip install --upgrade pip 升级pip pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com scrapy pip install -i https://pypi.tuna.tsinghua....
文章目录 简介Python基础Web基础爬虫基础BFS和DFS字符编码 小结简介 这几篇博客是一个系列，最终目标是能独立编写爬虫项目技术点包括反爬处理手段、正则表达式使用、抓包技术、模拟请求等，熟练掌握urllib模块，最终还要学习Scrapy框架当然，也可能会结合其他模块，提升效率必须要有模块化的思想如果你是小白，想快速感受一下爬虫到底要怎么做，可以看我的github博客 Python基础 这里要用到的Python基础包括 基础语法函数及模块文件...
爬虫基础 HTML基本原理URI——统一资源标志符 URL——统一资源定位符 URN——统一资源名称 HTTP全称Hyper Text Transfer Protocol，即超文本传输协议。HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议。 HTTPS全称Text Transfer Protocol over Secure Socket Layer-HTTP的安全版，即在HTTP下加上SSL层，简称为HTTPS。 HTTPS的安全基础是SSL，因此通过它传输的内容都是经过SSL加密的。 SSL加密的作用 建立一个信息...
文章目录 一. Scrapy框架简介1. Scrapy 框架介绍2. 数据处理流程二. Scrapy 及其依赖库的安装三. Scrapy 项目开发流程1. 常用命令2. 创建 Scrapy 项目3. 创建 Spider4. 创建 Item5. 解析 Response6. 使用 Item7. 后续 Request（1）继承 Scrapy.spider（2）为 Spider 命名（3）设定起始爬取点（4）实现页面解析函数 8. 运行9. 保存到文件四. 实例——爬取书籍信息1. 创建项目2. 创建爬虫3. 解析 Response4. 运行爬虫并保存数据一. S...
文章目录 一、前言二、列表1、构造列表2、列表的连接3、列表的重复操作4、列表的索引与切片5、列表的长度6、列表的遍历操作7、列表的“增删改查”--增8、列表的“增删改查”--删9、列表的“增删改查”--改10、列表的“增删改查”--查三、元组四、Blogger’s speech**“爱”的宣言：**本系列的目的是帮助一些零基础小白能够快速上手爬虫。因为作者本人也是一个刚入门不久的零基础小白，深知自学（乱学 ）的痛苦。本系列的知识可能不...