教你如何写Python爬虫| 不会分布式爬虫？一步一步带你走

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

以下文章来源于腾讯云，作者：Python进击者

首先，什么是分布式爬虫？其实简单粗暴一点解释就是我们平时写的爬虫都是孤军奋战，分布式爬虫就是一支军队作战。专业点来说就是应用多台机器同时实现爬虫任务，这多台机器上的爬虫，就是称作分布式爬虫。

分布式爬虫的难点不在于他本身有多难写，而是在于多台机器之间的通信。

我会通过分布式爬虫这一系列文章一一给大家讲解，整个系列大概有3-4篇文章，我会持续进行更新，也希望大家持续关注我的公众号。

今天，主要给大家讲讲分布式爬虫的实现原理以及基础。

分布式爬虫有很多种架构方式，下面给大家列举出几种比较常见的方式：

1 、多台真实机器＋爬虫（如 Urllib 、 Scrapy 等）＋任务共享中心

2 、多台虚拟机器（或者部分虚拟部分真实）＋爬虫（如 Urllib 、 Scrapy 等）＋任务共享中心

3 、多台容器级虚拟化机器（或者部分真实机器）＋爬虫（如 Urllib 、 Scrapy 等）＋任务共享中心

大家可以看出：

第一种方式利用真实机器，成本较高，除非你家有矿.

第二种方式其实已经算不错的了，比第一种省钱多了.

第三种方式比第二种更加的节约成本，而且操作起来也并不是特别困难，所以我们采用第三种方式来进行分布式爬虫的编写.

第三种方式里，主要采用的技术有Docker，Redis（Mysql），Urllib，当然你也可以使用Scrapy，Scrapy-Redis，这个看个人。

大家可能会对三种方法里的共享中心有所困惑，我这里画张图给大家：

大家看这张图，可以慢慢理解一下。其实可以简单的比喻成领导给你发布任务，然后你得把任务情况及时汇报给领导。

图中写了两种爬取内容的存储方式，我们这里采用的是存在中心节点当中，这种方式更加具有挑战性，因为它涉及到数据库链接的问题。

除了对共享中心有所困惑，相信部分人对容器级虚拟化机器也不是特别的了解，这里扔给大家一个关键词：Docker，大家可以自行去百度一下，这一篇主要给大家讲解了一下，我们分布式爬虫需要用的技术以及基本的实现原理。