首页 / MONGODB / mongodb分页优化

mongodb分页优化

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了mongodb分页优化，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7866字，纯文字阅读大概需要12分钟。

内容图文

分页说明

以典型的列表api来说：下拉刷新是获取最新信息，然后上拉加载下一页

常见api要写的2个接口

get_latest(model,count)
get_with_page(number,size)

get_latest一般是取最新的数据，比如我们常见的下拉刷新，一般都是这样的接口的。由于2次下拉之间，可能非常长的时间间隔，所以取到的数据会把当前列表的数据冲掉。

通常做法

如果n（比如n=30s）分钟内有连续请求，提示最近已更新，没必要再刷，或者直接返回当前数据
如果取到新数据，将当前列表的数据冲掉，保证数据一致性

如果判断我到最后一页了

常见的办法是取出总数，除以pagesize，然后判断当前页是否和总页数-1

n = all_count - 1

量少的时候，毫无感觉，如果量大了，你去查一下count(*)是啥后果呢？

所以比较好的做法是按照id去查，前端根据每次返回的数据条数，如果条数等于pagesize，你就可以取下一页数据，相反，如果取到的数据小于pagesize，你就知道没有那么多数据可以取了，即到了尾页。此时只要disable获取下一页的按钮即可。

使用 skip() 和 limit() 实现

//Page 1
db.users.find().limit (10)
//Page 2
db.users.find().skip(10).limit(10)
//Page 3
db.users.find().skip(20).limit(10)
........

抽象一下就是：检索第n页的代码应该是这样的

db.users.find().skip(pagesize*(n-1)).limit(pagesize)

当然，这是假定在你在2次查询之间没有任何数据插入或删除操作，你的系统能么？

当然大部分oltp系统无法确定不更新，所以skip只是个玩具，没太大用

而且skip+limit只适合小量数据，数据一多就卡死，哪怕你再怎么加索引，优化，它的缺陷都那么明显。

如果你要处理大量数据集，你需要考虑别的方案的。

使用 find() 和 limit() 实现

之前用skip()方法没办法更好的处理大规模数据，所以我们得找一个skip的替代方案。

为此我们想平衡查询，就考虑根据文档里有的时间戳或者id

在这个例子中，我们会通过‘_id’来处理（用时间戳也一样，看你设计的时候有没有类似created_at这样的字段）。

‘_id’是mongodb ObjectID类型的，ObjectID 使用12 字节的存储空间，每个字节两位十六进制数字，是一个24 位的字符串，包括timestamp, machined, processid, counter 等。下面会有一节单独讲它是怎么构成的，为啥它是唯一的。

使用_id实现分页的大致思路如下

在当前页内查出最后1条记录的_id，记为last_id
把记下来的last_id，作为查询条件，查出大于last_id的记录作为下一页的内容

这样来说，是不是很简单？

代码如下

//Page 1
db.users.find().limit(pageSize);
//Find the id of the last document in this page
last_id = ...

//Page 2
users = db.users.find({‘_id‘> last_id}). limit(10);
//Update the last id with the id of the last document in this page
last_id = ...

这只是示范代码，我们来看一下在Robomongo 0.8.4客户端里如何写

db.usermodels.find({‘_id‘ :{ "$gt" :ObjectId("55940ae59c39572851075bfd")} }).limit(20).sort({_id:-1})

根据上面接口说明，我们仍然要实现2个接口

get_latest(model,count)
get_next_page_with_last_id(last_id, size)

为了让大家更好的了解根据‘_id’分页原理，我们有必要去了解ObjectID的组成。

关于 ObjectID组成

前面说了：‘_id’是mongodb ObjectID类型的，它由12位结构组成，包括timestamp, machined, processid, counter 等。

![](http://images.blogjava.net/blogjava_net/dongbule/46046/o_111.PNG)

TimeStamp

前 4位是一个unix的时间戳，是一个int类别，我们将上面的例子中的objectid的前4位进行提取“4df2dcec”，然后再将他们安装十六进制专为十进制：“1307761900”，这个数字就是一个时间戳，为了让效果更佳明显，我们将这个时间戳转换成我们习惯的时间格式

$ date -d ‘1970-01-01 UTC 1307761900 sec’ -u
2011年 06月 11日星期六 03:11:40 UTC

前 4个字节其实隐藏了文档创建的时间，并且时间戳处在于字符的最前面，这就意味着ObjectId大致会按照插入进行排序，这对于某些方面起到很大作用，如作为索引提高搜索效率等等。使用时间戳还有一个好处是，某些客户端驱动可以通过ObjectId解析出该记录是何时插入的，这也解答了我们平时快速连续创建多个Objectid时，会发现前几位数字很少发现变化的现实，因为使用的是当前时间，很多用户担心要对服务器进行时间同步，其实这个时间戳的真实值并不重要，只要其总不停增加就好。

Machine

接下来的三个字节，就是 2cdcd2 ,这三个字节是所在主机的唯一标识符，一般是机器主机名的散列值，这样就确保了不同主机生成不同的机器hash值，确保在分布式中不造成冲突，这也就是在同一台机器生成的objectid中间的字符串都是一模一样的原因。

pid

上面的Machine是为了确保在不同机器产生的objectid不冲突，而pid就是为了在同一台机器不同的mongodb进程产生了objectid不冲突，接下来的0936两位就是产生objectid的进程标识符。

increment

前面的九个字节是保证了一秒内不同机器不同进程生成objectid不冲突，这后面的三个字节a8b817，是一个自动增加的计数器，用来确保在同一秒内产生的objectid也不会发现冲突，允许256的3次方等于16777216条记录的唯一性。

客户端生成

mongodb产生objectid还有一个更大的优势，就是mongodb可以通过自身的服务来产生objectid，也可以通过客户端的驱动程序来产生，如果你仔细看文档你会感叹，mongodb的设计无处不在的使

用空间换时间的思想，比较objectid是轻量级，但服务端产生也必须开销时间，所以能从服务器转移到客户端驱动程序完成的就尽量的转移，必须将事务扔给客户端来完成，减低服务端的开销，另还有一点原因就是扩展应用层比扩展数据库层要变量得多。

总结

mongodb的ObejctId生产思想在很多方面挺值得我们借鉴的，特别是在大型分布式的开发，如何构建轻量级的生产，如何将生产的负载进行转移，如何以空间换取时间提高生产的最大优化等等。

说这么多的目的就是告诉你：mongodb的_id为啥是唯一的，单机如何唯一，集群中如何唯一，理解了这个就可以了。

性能优化

索引

按照自己的业务需求即可，参见官方文档 http://docs.mongodb.org/manual/core/indexes/

关于explain

rdbms里的执行计划，如果你不了解，那么mongo的explain估计你也不太熟，简单说几句

explain是mongodb提供的一个命令，用来查看查询的过程，以便进行性能优化。

http://docs.mongodb.org/manual/reference/method/cursor.explain/

db.usermodels.find({‘_id‘ :{ "$gt" :ObjectId("55940ae59c39572851075bfd")} }).explain()


/* 0 */
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "xbm-wechat-api.usermodels",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "_id" : {
                "$gt" : ObjectId("55940ae59c39572851075bfd")
            }
        },
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "_id" : 1
                },
                "indexName" : "_id_",
                "isMultiKey" : false,
                "direction" : "forward",
                "indexBounds" : {
                    "_id" : [ 
                        "(ObjectId(‘55940ae59c39572851075bfd‘), ObjectId(‘ffffffffffffffffffffffff‘)]"
                    ]
                }
            }
        },
        "rejectedPlans" : []
    },
    "executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 5,
        "executionTimeMillis" : 0,
        "totalKeysExamined" : 5,
        "totalDocsExamined" : 5,
        "executionStages" : {
            "stage" : "FETCH",
            "nReturned" : 5,
            "executionTimeMillisEstimate" : 0,
            "works" : 6,
            "advanced" : 5,
            "needTime" : 0,
            "needFetch" : 0,
            "saveState" : 0,
            "restoreState" : 0,
            "isEOF" : 1,
            "invalidates" : 0,
            "docsExamined" : 5,
            "alreadyHasObj" : 0,
            "inputStage" : {
                "stage" : "IXSCAN",
                "nReturned" : 5,
                "executionTimeMillisEstimate" : 0,
                "works" : 5,
                "advanced" : 5,
                "needTime" : 0,
                "needFetch" : 0,
                "saveState" : 0,
                "restoreState" : 0,
                "isEOF" : 1,
                "invalidates" : 0,
                "keyPattern" : {
                    "_id" : 1
                },
                "indexName" : "_id_",
                "isMultiKey" : false,
                "direction" : "forward",
                "indexBounds" : {
                    "_id" : [ 
                        "(ObjectId(‘55940ae59c39572851075bfd‘), ObjectId(‘ffffffffffffffffffffffff‘)]"
                    ]
                },
                "keysExamined" : 5,
                "dupsTested" : 0,
                "dupsDropped" : 0,
                "seenInvalidated" : 0,
                "matchTested" : 0
            }
        },
        "allPlansExecution" : []
    },
    "serverInfo" : {
        "host" : "iZ251uvtr2b",
        "port" : 27017,
        "version" : "3.0.3",
        "gitVersion" : "b40106b36eecd1b4407eb1ad1af6bc60593c6105"
    }
}

字段说明：

queryPlanner.winningPlan.inputStage.stage列显示查询策略

IXSCAN表示使用Index 查询
COLLSCAN表示使用列查询，也就是一个一个对比过去

cursor中的索引名称移动到了queryPlanner.winningPlan.inputStage.indexName

3.0中使用executionStats.totalDocsExamined来显示总共需要检查的文档数，用以取而代之2.6里的nscanned，即扫描document的行数。

nReturned：返回的文档行数
needTime：耗时（毫秒）
indexBounds：所用的索引

Profiling

另外还有一个Profiling功能

db.setProfilingLevel(2, 20)

profile级别有三种：

0：不开启
1：记录慢命令，默认为大于100ms
2：记录所有命令
3、查询profiling记录

默认记录在system.profile中

db[‘system.profile‘].find()

总结一下

explain在写代码阶段就可以做性能分析，开发阶段用
profile检测性能慢的语句，便于线上产品问题定位

无论哪种你定位出来问题，解决办法

根据业务，调整schema结构
优化索引

有了上面这些知识，相信大家能够自己去给分页语句测试性能了。

全文完

欢迎关注我的公众号【node全栈】
mongodb分页优化 - 文章图片

mongodb分页优化

标签：

本文系统来源：http://my.oschina.net/nodeonly/blog/475116

内容总结

以上是互联网集市为您收集整理的mongodb分页优化全部内容，希望文章能够帮你解决mongodb分页优化所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/451113.html

来源：【匿名】

【上一篇】MongoDB 数据库管理（不定时更新）【下一篇】在MongoDB上如何进行数据的导入与导出

更多 ►

【mongodb分页优化】教程文章相关的互联网学习教程文章

大偏移量下Redis、MongoDB分页/排名性能比较【代码】

题目其实并不太准确，因为数据库并不会提供分页、排名等功能，提供的只是数据的存取，分页排名这些都是我们基于数据库的实用案例而已。然而无论是Redis还是MongoDB，通常都有一些常规的做分页和排名的方法。本文就通过一些测试数据来向大家介绍Redis和MongoDB（以及传统关系型数据库）在这方面的性能差别。分页首先我们来做一个分页，在MongoDB中示例数据如下所未：db.scores.find(); {lid: ObjectId("4fe506dabb2bfa742d000001"...

MongoDB学习笔记~为IMongoDBRepository接口添加分页取集合的方法【代码】

对于数据分页，我们已经见的太多了，几乎每个列表页面都要用到分页，这已经成了一种定理了，在进行大数据展示时，如果不去分页，而直接把数据加载到内存，这简直是不可以去相向的，呵呵，在很多ORM工具中都对分页有了更好的支持，如LINQ里有大家熟悉的take和skip，而在MongoDB里也有这种概念，它使用limit和skip实现，这在大多数的Mongo客户端上都集成了这个功能，即帮助我们组合命令参数，并带我们把分页取数据的指令发到Mongo服务...

c# MongoDB分页辅助类，支持多条件查询【代码】

创建一个获取MongoDB数据库实例的类publicclass Db{privatestatic IMongoDatabase db = null;privatestaticreadonlyobject lockHelper = newobject();private Db() { }publicstatic IMongoDatabase GetDb(string connStr, string dbName){if (db == null){lock (lockHelper){if (db == null){var client = new MongoClient(connStr);db = client.GetDatabase(dbName);}}}return db;}}创建一个操作MongDB的辅助类publicclass MongoD...

MongoDB：mongodb在项目开发时的安全验证、分页查询操作

MongoDB：mongodb在项目开发时的安全验证、分页查询操作。对于数据库而言，在项目应用中都需要安全验证，不然，就会报错，呵呵～～现在贴出来我在项目中是怎么做的。原创文章，转载请注明出处：http://blog.csdn.net/jessonlv/article/details/18656333数据源bean：package com.ishowchina.user.dao;import com.mongodb.BasicDBObject; import com.mongodb.DB; import com.mongodb.DBCollection; import com.mongodb.DBCursor; imp...

Django工程读取mongodb并使用分页器【代码】【图】

pycharm开发django工程（二）项目需求： 1. 从mongodb中读取数据，并显示到网页中 2. 在网页显示的每一页加入分页符首先使用pycharm的企业版新建一个django的虚拟工程（参考我的上一个博客），这是初始的显示效果这是原始的html文件，css文件在本文的最后，至于图片就随意照一张改名就行 {% load static %}<html lang="en"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width, initial-s...

基于mongodb的搜索分页【代码】

mongodb模糊查询并分页1.建立数据库代码如下：var mongoose = require(‘mongoose‘); var shortid = require(‘shortid‘); var Schema = mongoose.Schema;var IndexDataSchema = new Schema({_id: {type: String,unique: true,‘default‘: shortid.generate},type: String,city: String,name:string,value: [{name: String, value: String}],create: {type: Date, default: Date.now},expand: String });IndexDataSchema.static...

MongoDB2d空间索引怎么分页显示？

代码：$row = $mongodb->users->command(array('geoNear'=>'location','near'=> array(39.937882,116.46289),'limit' => 4,)); print_r($row); 加入skip，无效。command方法后追加->skip(N)，无效……num和limit作用一样的。就没办法分页么？回复内容：代码：$row = $mongodb->users->command(array('geoNear'=>'location','near'=> array(39.937882,116.46289),'limit' => 4,)); print_r($row); 加入skip，无效。command方法后追加...

mongodb分页查询，排序【代码】

mongodb代码根据时间倒序，查看10条 db.表名.find({"_id":"xxx"}).sort({"inserted":-1}).limit(10).skip(1)相对的php代码 $postArr = $this->mongo->executeQuery(表名,[‘_id‘ => new ObjectId(字符串id)],[‘sort‘ => [‘inserted‘ => -1],‘limit‘ => 10,‘skip‘ => 1,‘projection‘ => array(‘_id‘ => 1)]);mongodb分页查询，排序标签：.so object class his log exec logs 字符串分页查询本文系...

MongoDb多集合分页查询

MongoDb中存放了两个Collection，两个Collection结构完全一样。现在需要做分页查询，而MongoDb不支持类似Join的功能，无法做到数据合并排序。考虑使用PHP做这个功能，但又担心性能和速度的问题。问问还有其他的方法吗，谢谢。回复内容：MongoDb中存放了两个Collection，两个Collection结构完全一样。现在需要做分页查询，而MongoDb不支持类似Join的功能，无法做到数据合并排序。考虑使用PHP做这个功能，但又担心性能和速度的问题...

mongodb如何对子文档进行分页

文档结构如下： {"_id" : ObjectId("55dc145ef754a3342000002d"),"id" : 12,"title" : "炎炎夏日，跟我一起High翻天！","content" : "酷暑7月，简直不能忍~~~！夏天。就应该是被西瓜，冰镇可乐，全家桶，空调和游戏包围着的天堂。外面的世界纷纷扰扰与我无关~~哇哈哈哈！！","thumb" : "/201506/5592560017b6a.jpg","banner" : "/201506/559255fa5366d.jpg","order" : 11,"publish_time" : "2015-08-25","game_num" : 14,"games" :...

NodeJs操作MongoDB教程之分页功能以及常见问题【图】

一,方法介绍 1,聚合操作之count count()方法可以查询统计符合条件的集合的总数 1 db.User.count(<query>) // 此方法等价于 db.User.find(<query>).count()在分布式集合中，会出现计算错误的情况，这个时候推荐使用aggregate； 2,find() 方法以非结构化的方式来显示所有文档。 1 db.User.find();//相当于：select* from User;3,exec() 方法用于检索字符串中的正则表达式的匹配。(javascript方法) 4,sort() 方法对数据进行排序，sor...

node.js基于mongodb的搜索分页示例

mongodb模糊查询并分页 1.建立数据库代码如下： var mongoose = require(mongoose); var shortid = require(shortid); var Schema = mongoose.Schema;var IndexDataSchema = new Schema({_id: {type: String,unique: true,default: shortid.generate},type: String,city: String,name:string,value: [{name: String, value: String}],create: {type: Date, default: Date.now},expand: String });IndexDataSchema.statics = {defa...

MongoDB多条件分页查询，新增，删除操作【代码】【图】

日志信息记录到MongoDB中，然后多条件查询程序界面MongoDBTools.javapackage com.admin.utils;import java.lang.reflect.Field; import java.net.UnknownHostException; import java.util.ArrayList; import java.util.List; import java.util.regex.Pattern;import org.apache.log4j.Logger;import com.admin.entity.LogEntity; import com.admin.entity.PageModel; import com.admin.entity.SearchEntity; import com.google.gs...