爬虫爬下来的数据(100G级别，2000W以上数据量)用mysql还是mongodb存储好？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫爬下来的数据(100G级别，2000W以上数据量)用mysql还是mongodb存储好？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4055字，纯文字阅读大概需要6分钟。

内容图文

MongoDB作为非关系型数据库，其主要的优势在于schema-less。由于爬虫数据一般来说比较“脏”，不会包含爬取数据的所有field，这对于不需要严格定义schema的MongoDB再合适不过。而MongoDB内置的sharding分布式系统也保证了它的可扩展性。MongoDB的aggregation framework除了join以外可以完全替代SQL语句，做到非常快速的统计分析。

而题主的100GB、20m数据量(5k per record)，据我的经验，这对于MongoDB来说不是太大问题，需要全局统计的话就做sharding＋自带的Map Reduce进行优化，需要filter的话就做索引（前人也提到MongoDB的查询速度是MySQL不能比的），而且需要join的概率也不大（不需要normalize）。（推荐相关mysql视频教程：mysql教程）

总而言之，主要看你用来做什么，如果是简单的raw data储存直接存诚txt文件，后续加载到HDFS都可以。如果是数据仓库设计的话，MySQL可以作为一个轻量级的aggregate table载体，作为OLAP的后端数据源。（推荐相关MongoDB视频教程：MongoDB教程）

反正，在这种情况下，我是看不到MySQL单纯用做储存的必要。 well，
这个量级，且用处来看，mysql or mongo 都无所谓，区别不大。
不过你既然爬虫的数据，就会要跟着源数据结构变动而变动，mongo的模式就会更方便适合些

Mongo快的原因主要有以下几点：
写：
-3.0以前是mmap ，内存映射模式， 写入数据时候在内存里完成后就是可以返回的，这样并发会高，当然也有各种级别的安全写级别，应对不同的安全需求。
-3.0之后，WT引擎其MVCC机制更是大幅度提高了写效率，多版本控制机制提高了并发，降低了锁的粒度。

读：
MongoDB 与mysql不同，文档型的结构设计使同一条document中的内容在连续的位置内（内存啊，硬盘啊）。而关系型数据库需要把数据从各个地方找过来，join啊之类的，减少了随机io。

Mongo的设计模式也会让我们尽可能的把working set能在ram中装下。

3.0以后WT的MVCC也大幅度提高了效率。

然后，sharding的存在，让我们对于带有shard key的读与写都有了横向水平扩展的能力，也提高了效率。 这个问题是钓鱼吧...
存100G，2KW条数据随便一个数据库都妥妥的，真正用来做选择的是要怎么用... 那个熟悉用那个。 我觉得要看你的爬虫是用什么语言吧,php的就mysql比较好点，nodejs就mongodb呗～还有就是数据结构要考虑考虑，还有读写要求你也没给出这些很难推荐，不过我推崇芒果，因为跟node无缝对接，不好就是比较新，坑也多～这样以后数据有了直接来MEAN框架就可以弄爬虫应用了O(∩_∩)O

首先，数据大了，存储绝对不是一件容易的事，要考虑很多因素。

爬虫爬下来的大量数据，存在关系型数据库里往往不是很恰当的，因为当数据量和并发很大时，关系型数据库的容量与读写能力会是瓶颈，另一方面，爬虫保存的页面信息之间一般也不需要建立关系。

比较好的做法应该是存在列族数据库类型的Nosql里。Google的BigTable论文里就提出了使用BigTable存储网页信息，开源的列族数据库，像HBase、Cassandra也都很适合存储这类信息。每爬一个网页，构造一个Key（比如是倒排域名的url，或者是散列的key）和一系列Column（网页内容等），插到HBase的里，作为一行。

有一套较通用的大规模分布式爬虫方案是Nutch + Gora + HBase + Solr／Elasticsearch，爬虫爬的数据通过Gora作为数据抽象层存在HBase里，然后导入Solr或者Elasticsearch里建立索引。也可以通过Gora执行MapReduce或者导入Spark进行计算。

但是上述方案其实并不适合普通的开发者，因为搭建和维护HBase是很繁琐的，引入很多学习成本，遇到问题还要排查。重要的是这跟爬虫毫无关系啊，完全是存储问题。

所以我最终推荐的是云的方案，阿里云的OTS是一个类似HBase的Nosql数据库，成本低、读写性能好，非常适合爬虫这个场景：

1. 不需要自己搭建与运维，开通实例即可使用，完全不用担心规模问题。

2. 按照读写预留能力收费，爬虫爬的时候读写预留能力调上去，爬完了读写预留能力调下来。

3. 存储成本非常低。

4. 数据存在OTS上，计算资源就可以弹性的扩容或者缩减。举个例子，假如爬虫爬的时候要使用很多云服务器，等爬虫爬完了，这些服务器就可以及时释放；另一方面，如果要对爬下来的数据做分析计算，也只需要在计算的时候购买云服务器，从OTS中把数据导下来，计算完成服务器即可释放。

开放结构化数据服务OTS_海量数据存储

利益相关：OTS开发

都是些什么数据？拿到后做什么处理？query pattern是啥？
一般join, filter多的用mysql.整块数据读的用mongo.
要是简单的话plain text JSON也不错。 应该是MongoDB好一些，其设计之初就是为了应对大数据存储的。 mongo

• 没有schema的严格定义，json存取

• 爬虫的字段会经常变化，字段定义可能会变更，mongo就对这方面很宽松

• mongo是文档型的，天生为海量数据存储准备

• 可以很轻松的横向扩展，分片，复制集群分分钟

使用mongo也有坑，3.2之后就换了新的WiredTiger引擎，占的内存略坑，对于没有太多query的存的数据库来看，内存还是会偶尔断片，没关系，在上面套一个docker ，还是一样很方便。

内容总结

以上是互联网集市为您收集整理的爬虫爬下来的数据(100G级别，2000W以上数据量)用mysql还是mongodb存储好？全部内容，希望文章能够帮你解决爬虫爬下来的数据(100G级别，2000W以上数据量)用mysql还是mongodb存储好？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---