首页 / 爬虫 / Python爬虫教程-01-爬虫介绍

Python爬虫教程-01-爬虫介绍

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫教程-01-爬虫介绍，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2504字，纯文字阅读大概需要4分钟。

内容图文

?????????????????????

Spider-01-爬虫介绍

Python 爬虫的知识量不是特别大，但是需要不停和网页打交道，每个网页情况都有所差异，所有对应变能力有些要求

爬虫准备工作

  • 参考资料
  • 精通Python爬虫框架Scrapy，人民邮电出版社
    •   -

基础知识

  • url, http
  • web前端，html，css，js
  • ajax
  • re，xpath

python 爬虫简介

  • 爬虫定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫
  • 两大特征
    • 能按照作者要求下载数据
    • 能自动在网络上流窜
  • 三大步骤
    • 下载网页
    • 提取正确的信息
    • 根据一定规则自动跳到另外的网页上执行上两步操作
  • 爬虫分类
    • 通用爬虫：
      不分类，比如百度搜索引擎，我们通过百度输入数据，获取百度爬虫从各种网站爬到的数据
    • 专用爬虫（聚焦爬虫） ：
      就是我们介绍的，关于某一类的数据，比如说，需要爬智联招聘网站，某地区的招聘信息
  • Python网络包简介
    • Python2.*：urllib, urllib2, urllib3, httplib, httplib2, requests
    • Python3.*：urllib, urllib3, httplib2, requests
    • Python2：urllib, urllib2配合使用，或者requests
    • Python3：urllib，requests

我的爬虫笔记

???????????

内容总结

以上是互联网集市为您收集整理的Python爬虫教程-01-爬虫介绍全部内容，希望文章能够帮你解决Python爬虫教程-01-爬虫介绍所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/832490.html

来源：【匿名】