Python 爬虫基础

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python 爬虫基础，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4610字，纯文字阅读大概需要7分钟。

内容图文

1. 安装虚拟环境

#安装虚拟环境（window下加-win，苹果系统不需要加）
pip install virtualenvwrapper-win
#常用命令
mkvirtualenv pmz（创建虚拟环境的名字)                  #创建虚拟环境成功后会自动切换到环境下
workon envname(envname(切换虚拟环境的名字))            #切换到虚拟环境
pip list                                            #查看虚拟安装所有的包
deactivate                                          #退出虚拟环境
rmvirtualenv pmz(pmz(删除虚拟环境))                   #删除虚拟环境
lsvirtualenv                                        #列出所有已创建的虚拟环境
mkvirtualenv--python--C: ..python.exe envname       #指定Python解释器创建虚拟环境

2. 爬虫概念

爬虫, 又称网页蜘蛛或网络机器人. 
爬虫是 模拟人操作客户端(浏览器, APP) 向服务器发起网络请求 抓取数据的自动化程序或脚本. (*****) 
# 说明: 
    1.模拟: 用爬虫程序伪装出人的行为, 避免被服务识别为爬虫程序 
    2.客户端: 浏览器, APP都可以实现人与服务器之间的交互行为, 应用客户端从服务器获取数据 
    3.自动化: 数据量较小时可以人工获取数据, 但往往在公司中爬取的数据量在百万条, 千万条级别的, 所以要程序     自动化获取数据.
cpython   -   Ipython
#通用爬虫----只是爬虫，为搜索引擎提供检索服务
1.起始url
2.url队列    --------爬取数据


#设计思路
1.确定url，发起请求，获取响应
2.数据解析：re,正则，xpath,Bs4,pyQuery
3.数据持久化：    数据库Mysql   Redisa,MongoDB

3. 爬虫分类

(1): 通用爬虫-----只是爬虫，为搜索引擎提供检索服务：搜索引擎
    # 实例: 百度, 搜狗, Google的搜索引擎 
    # 功能: 访问网页 -> 抓取数据 -> 数据处理 -> 提供检索服务 
    # 工作流:
        1.给定一个起始URL, 存于爬取队列中 
        2.爬虫程序从队列中取出url, 爬取数据 
        3.解析爬取数据, 获取网页内的所有url, 放入爬取队列
        4.重复第二个步骤
    # 使搜索引擎获取网站链接: 
        1.主动将url提交给搜索引擎(https://ziyuan.baidu.com/linksubmit/url) 
        2.在其他热门网站设置友情了解 
        3.百度和DNS服务商合作, 收录新网站
    # 网站排名(SEO): 
        1.根据PageRank值进行排名(流量, 点击率) 
        2.百度竞价排名, 钱多就靠前排 
    # 缺点: 
        1.抓取的内容多数无用 
        2.无法精确获取数据 
    # 协议: robots协议 --> 约定哪些内容允许哪些爬虫抓取 （约束通用爬虫和聚焦爬虫）
        1.无需遵守, 该协议适用于通用爬虫, 而我们写的是聚焦爬虫 
        2.查看方法: 网站url/robots.txt, 如https://www.baidu.com/robots.txt
(2): 聚焦爬虫-----聚焦爬虫
    # 概念:
        聚焦爬虫指针对某一领域根据特定要求实现的爬虫程序, 抓取需要的数据(垂直领域爬取)
    # 设计思路: 
        (1).确定爬取的url, 模拟浏览器请服务器发送请求  
        (2).获取响应数据并进行数据解析 ---re,正则，[xpath]推荐,Bs4,pyQuery
        (3).将目标数据持久化到本地----- .MySQL，MongoDB，Redis

4. 协议模型

OSI七层模型
7.应用层   6.表示层   5.会话层   4.传输层    3.网络层    2.数据链路层    1.物理层 （从下往上数）
tcp 五层协议
    1.应用层：http/Https/fip/ssh
    2.传输层：tcp/udp
    3.网络层: ip协议
    4.数据链路层：APR协议
    5.物理层：以太网协议

5. HTTP协议与HTTP S协议

# HTTP协议: 明文传输, 端口80 
- Http协议, 全称为Hyper Text Transfer Protocol, 即超文本传输协议. 
- HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议, 它能保证高效而准确地传送超文本文档. 
- 目前广泛使用的是HTTP 1.1版本     

# HTTPS协议: 加密传输, 端口443 
- HTTPS全称是Hyper Text Transfer Protocol over Secure Socket Layer, 是以安全为目标的 HTTP通道. HTTPS协议实质是HTTP的安全版, 即HTTP下加入SSL安全套接层, 简称HTTPS. 
- HTTPS的安全体现在SSL的加密行为, 即通过HTTPS协议传输的数据都是经过SSL加密的 
- HTTPS的作用: 
    1.建立一个信息安全的通道来保证数据传输的安全 
    2.确认网站的真实性, 凡是使用了HTTPS的网站, 都可以通过点击浏览器地址栏的锁头标志来查看网站 认证之后的真实信息, 也可以通过CA机构颁发的安全签章来查询 
    
# HTTP与HTTPS协议的区别:(背下来) 
    1)、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。 
    2)、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 
    3)、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。 
    4)、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。

6. TCP与UDP 协议

# TCP与UDP 
1.TCP协议:是一种面向连接的, 可靠的, 基于字节流的传输层通信协议 
    1).有序性: 数据包编号, 判断数据包的正确次序 
    2).正确性: 使用checksum函数检查数据包是否损坏, 发送接收时都会计算校验和 
    3).可靠性: 发送端有超时重发, 并由确认机制识别错误和数据的丢失 
    4).可控性: 滑动窗口协议与拥塞控制算法控制数据包的发送速度 
        
2.UDP协议: 用户数据报协议, 面向无连接的传输层协议, 传输不可靠. 
    1).无连接, 数据可能丢失或损坏 
    2).报文小, 传输速度快 
    3).吞吐量大的网络传输, 可以在一定程度上承受数据丢失

# ARP协议: 通过IP获取目标计算机mac地址的协议（通过IP找mac）

7. 服务器常见端口

1.ftp: File Transfer Protocol的缩写, 即文件传输协议. 端口:21 
2.ssh: Secure Shell的缩写, 用于远程登录会话. 端口:22 
3.MySQL: 关系型数据库, 端口:3306
4.MongoDB: 非关系型数据库, 端口:27017 
5.Redis: 非关系型数据库, 端口:6379

8. 开发准备

# web端

1. Python3.6 
2. Pycharm 
3. Google Chrome

#抓包工具
fiddler抓包工具

内容总结

以上是互联网集市为您收集整理的Python 爬虫基础全部内容，希望文章能够帮你解决Python 爬虫基础所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---