MongoDB基础教程系列--第七篇 MongoDB 聚合管道

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MongoDB基础教程系列--第七篇 MongoDB 聚合管道，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含22303字，纯文字阅读大概需要32分钟。

内容图文

实例中，$match 用于获取 status = "A" 的记录，然后将符合条件的记录送到下一阶段 $group 中进行分组求和计算，最后返回 Results。其中，$match、$group 都是阶段操作符，而阶段 $group 中用到的 $sum 是表达式操作符。

在下面，我们通过范例分别对阶段操作符和表达式操作符进行详解。

1.1、阶段操作符

使用阶段操作符之前，我们先看一下 article 集合中的文档列表，也就是范例中用到的数据。

>db.article.find().pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Database‘, ‘Query‘],
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7571")
   "title": "MongoDB Index", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Index‘, ‘Query‘],
   "pages": 3,
   "time" : ISODate("2017-04-09T11:43:39.236Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7572")
   "title": "MongoDB Query", 
   "author": "eryueyang",
   "tags": [‘Mongodb‘, ‘Query‘],
   "pages": 8,
   "time" : ISODate("2017-04-09T11:44:56.276Z")
}

1.1.1、$project 

作用

修改文档的结构，可以用来重命名、增加或删除文档中的字段。

范例1

只返回文档中 title 和 author 字段

>db.article.aggregate([{$project:{_id:0, title:1, author:1 }}])
{ "title": "MongoDB Aggregate",  "author": "liruihuan" },
{ "title": "MongoDB Index",  "author": "liruihuan" },
{ "title": "MongoDB Query",  "author": "eryueyang" }

因为字段 _id 是默认显示的，这里必须用 _id:0 把字段_id过滤掉。

范例2

把文档中 pages 字段的值都增加10。并重命名成 newPages 字段。

>db.article.aggregate(
   [
      {
          $project:{
               _id:0, 
               title:1, 
               author:1, 
               newPages: {$add:["$Pages",10]}
         }
      }
   ]
)
{ "title": "MongoDB Aggregate",  "author": "liruihuan", "newPages": 15 },
{ "title": "MongoDB Index",  "author": "liruihuan", "newPages": 13  },
{ "title": "MongoDB Query",  "author": "eryueyang", "newPages": 18  }

其中，$add 是 加 的意思，是算术类型表达式操作符，具体表达式操作符，下面会讲到。

1.1.2、$match

作用

用于过滤文档。用法类似于 find() 方法中的参数。

范例

查询出文档中 pages 字段的值大于等于5的数据。

>db.article.aggregate(
    [
         {
              $match: {"pages": {$gte: 5}}
         }
    ]
   ).pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Database‘, ‘Query‘],
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7572")
   "title": "MongoDB Query", 
   "author": "eryueyang",
   "tags": [‘Mongodb‘, ‘Query‘],
   "pages": 8,
   "time" : ISODate("2017-04-09T11:44:56.276Z")
}

注：

• 在 $match 中不能使用 $where 表达式操作符
• 如果 $match 位于管道的第一个阶段，可以利用索引来提高查询效率
• $match 中使用 $text 操作符的话，只能位于管道的第一阶段
• $match 尽量出现在管道的最前面，过滤出需要的数据，在后续的阶段中可以提高效率。

1.1.3、$group

作用

将集合中的文档进行分组，可用于统计结果。

范例

从 article 中得到每个 author 的文章数，并输入 author 和对应的文章数。

>db.article.aggregate(
    [
         {
              $group: {_id: "$author", total: {$sum: 1}}
         }
    ]
   )
{"_id" : "eryueyang", "total" : 1}
{"_id" : "liruihuan", "total" : 2}

1.1.4、$sort

作用

将集合中的文档进行排序。

范例

让集合 article 以 pages 升序排列

>db.article.aggregate([{$sort: {"pages": 1}}]).pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7571")
   "title": "MongoDB Index", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Index‘, ‘Query‘],
   "pages": 3,
   "time" : ISODate("2017-04-09T11:43:39.236Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Database‘, ‘Query‘],
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7572")
   "title": "MongoDB Query", 
   "author": "eryueyang",
   "tags": [‘Mongodb‘, ‘Query‘],
   "pages": 8,
   "time" : ISODate("2017-04-09T11:44:56.276Z")
}

　　如果以降序排列，则设置成 "pages": -1

1.1.5、$limit

作用

限制返回的文档数量

范例

返回集合 article 中前两条文档

>db.article.aggregate([{$limit: 2}]).pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Database‘, ‘Query‘],
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7571")
   "title": "MongoDB Index", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Index‘, ‘Query‘],
   "pages": 3,
   "time" : ISODate("2017-04-09T11:43:39.236Z")
}

1.1.6、$skip

作用

跳过指定数量的文档，并返回余下的文档。

范例

跳过集合 article 中一条文档，输出剩下的文档

>db.article.aggregate([{$skip: 1}]).pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7571")
   "title": "MongoDB Index", 
   "author": "liruihuan",
   "tags": [‘Mongodb‘, ‘Index‘, ‘Query‘],
   "pages": 3,
   "time" : ISODate("2017-04-09T11:43:39.236Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7572")
   "title": "MongoDB Query", 
   "author": "eryueyang",
   "tags": [‘Mongodb‘, ‘Query‘],
   "pages": 8,
   "time" : ISODate("2017-04-09T11:44:56.276Z")
}

1.1.7、$unwind

作用

将文档中数组类型的字段拆分成多条，每条文档包含数组中的一个值。

范例

把集合 article 中 title="MongoDB Aggregate" 的 tags 字段拆分

>db.article.aggregate(
    [
         {
              $match: {"title": "MongoDB Aggregate"}
         },
         {
              $unwind: "$tags"
         }
    ]
   ).pretty()
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": "Mongodb",
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": "Database",
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
},
{
   "_id": ObjectId("58e1d2f0bb1bbc3245fa7570")
   "title": "MongoDB Aggregate", 
   "author": "liruihuan",
   "tags": "Query",
   "pages": 5,
   "time" : ISODate("2017-04-09T11:42:39.736Z")
}

注：

• $unwind 参数数组字段为空或不存在时，待处理的文档将会被忽略，该文档将不会有任何输出
• $unwind 参数不是一个数组类型时，将会抛出异常
• $unwind 所作的修改，只用于输出，不能改变原文档

1.2、表达式操作符

 表达式操作符有很多操作类型，其中最常用的有布尔管道聚合操作、集合操作、比较聚合操作、算术聚合操作、字符串聚合操作、数组聚合操作、日期聚合操作、条件聚合操作、数据类型聚合操作等。每种类型都有很多用法，这里就不一一举例了。

1.2.1、布尔管道聚合操作（Boolean Aggregation Operators）

范例

假如有一个集合 mycol

{ "_id" : 1, "item" : "abc1", description: "product 1", qty: 300 }
{ "_id" : 2, "item" : "abc2", description: "product 2", qty: 200 }
{ "_id" : 3, "item" : "xyz1", description: "product 3", qty: 250 }
{ "_id" : 4, "item" : "VWZ1", description: "product 4", qty: 300 }
{ "_id" : 5, "item" : "VWZ2", description: "product 5", qty: 180 }

确定 qty 是否大于250或者小于200

db.mycol.aggregate(
   [
     {
       $project:
          {
            item: 1,
            result: { $or: [ { $gt: [ "$qty", 250 ] }, { $lt: [ "$qty", 200 ] } ] }
          }
     }
   ]
)
{ "_id" : 1, "item" : "abc1", "result" : true }
{ "_id" : 2, "item" : "abc2", "result" : false }
{ "_id" : 3, "item" : "xyz1", "result" : false }
{ "_id" : 4, "item" : "VWZ1", "result" : true }
{ "_id" : 5, "item" : "VWZ2", "result" : true }

1.2.2、集合操作（Set Operators）

用于集合操作，求集合的并集、交集、差集运算。

范例

假如有一个集合 mycol

{ "_id" : 1, "A" : [ "red", "blue" ], "B" : [ "red", "blue" ] }
{ "_id" : 2, "A" : [ "red", "blue" ], "B" : [ "blue", "red", "blue" ] }
{ "_id" : 3, "A" : [ "red", "blue" ], "B" : [ "red", "blue", "green" ] }
{ "_id" : 4, "A" : [ "red", "blue" ], "B" : [ "green", "red" ] }
{ "_id" : 5, "A" : [ "red", "blue" ], "B" : [ ] }
{ "_id" : 6, "A" : [ "red", "blue" ], "B" : [ [ "red" ], [ "blue" ] ] }
{ "_id" : 7, "A" : [ "red", "blue" ], "B" : [ [ "red", "blue" ] ] }
{ "_id" : 8, "A" : [ ], "B" : [ ] }
{ "_id" : 9, "A" : [ ], "B" : [ "red" ] }

求出集合 mycol 中 A 和 B 的交集

db.mycol.aggregate(
   [
     { $project: { A:1, B: 1, allValues: { $setUnion: [ "$A", "$B" ] }, _id: 0 } }
   ]
)
{ "A": [ "red", "blue" ], "B": [ "red", "blue" ], "allValues": [ "blue", "red" ] }
{ "A": [ "red", "blue" ], "B": [ "blue", "red", "blue" ], "allValues": [ "blue", "red" ] }
{ "A": [ "red", "blue" ], "B": [ "red", "blue", "green" ], "allValues": [ "blue", "red", "green" ] }
{ "A": [ "red", "blue" ], "B": [ "green", "red" ], "allValues": [ "blue", "red", "green" ] }
{ "A": [ "red", "blue" ], "B": [ ], "allValues": [ "blue", "red" ] }
{ "A": [ "red", "blue" ], "B": [ [ "red" ], [ "blue" ] ], "allValues": [ "blue", "red", [ "red" ], [ "blue" ] ] }
{ "A": [ "red", "blue" ], "B": [ [ "red", "blue" ] ], "allValues": [ "blue", "red", [ "red", "blue" ] ] }
{ "A": [ ], "B": [ ], "allValues": [ ] }
{ "A": [ ], "B": [ "red" ], "allValues": [ "red" ] }

1.2.3、比较聚合操作（Comparison Aggregation Operators）

这里就不举例了，之前的例子有用到过。

1.2.4、算术聚合操作（Arithmetic Aggregation Operators）

范例

假如有一个集合 mycol

{ _id: 1, start: 5, end: 8 }
{ _id: 2, start: 4, end: 4 }
{ _id: 3, start: 9, end: 7 }
{ _id: 4, start: 6, end: 7 }

求集合 mycol 中 start 减去 end 的绝对值

db.mycol.aggregate([
   {
     $project: { delta: { $abs: { $subtract: [ "$start", "$end" ] } } }
   }
])
{ "_id" : 1, "delta" : 3 }
{ "_id" : 2, "delta" : 0 }
{ "_id" : 3, "delta" : 2 }
{ "_id" : 4, "delta" : 1 }

1.2.5、字符串聚合操作（String Aggregation Operators）

范例

假如有一个集合 mycol

{ "_id" : 1, "city" : "Berkeley, CA", "qty" : 648 }
{ "_id" : 2, "city" : "Bend, OR", "qty" : 491 }
{ "_id" : 3, "city" : "Kensington, CA", "qty" : 233 }
{ "_id" : 4, "city" : "Eugene, OR", "qty" : 842 }
{ "_id" : 5, "city" : "Reno, NV", "qty" : 655 }
{ "_id" : 6, "city" : "Portland, OR", "qty" : 408 }
{ "_id" : 7, "city" : "Sacramento, CA", "qty" : 574 }

以 ‘,‘ 分割集合 mycol 中字符串city的值，用 $unwind 拆分成多个文档，匹配出城市名称只有两个字母的城市，并求和各个城市中 qty 的值，最后以降序排序。

db.mycol.aggregate([
  { $project : { city_state : { $split: ["$city", ", "] }, qty : 1 } },
  { $unwind : "$city_state" },
  { $match : { city_state : /[A-Z]{2}/ } },
  { $group : { _id: { "state" : "$city_state" }, total_qty : { "$sum" : "$qty" } } },
  { $sort : { total_qty : -1 } }
])
{ "_id" : { "state" : "OR" }, "total_qty" : 1741 }
{ "_id" : { "state" : "CA" }, "total_qty" : 1455 }
{ "_id" : { "state" : "NV" }, "total_qty" : 655 }

1.2.6、数组聚合操作（Array Aggregation Operators）

范例

假如有一个集合 mycol

{ "_id" : 1, "name" : "dave123", favorites: [ "chocolate", "cake", "butter", "apples" ] }
{ "_id" : 2, "name" : "li", favorites: [ "apples", "pudding", "pie" ] }
{ "_id" : 3, "name" : "ahn", favorites: [ "pears", "pecans", "chocolate", "cherries" ] }
{ "_id" : 4, "name" : "ty", favorites: [ "ice cream" ] }

求出集合 mycol 中 favorites 的第一项和最后一项

db.mycol.aggregate([
   {
     $project:
      {
         name: 1,
         first: { $arrayElemAt: [ "$favorites", 0 ] },
         last: { $arrayElemAt: [ "$favorites", -1 ] }
      }
   }
])
{ "_id" : 1, "name" : "dave123", "first" : "chocolate", "last" : "apples" }
{ "_id" : 2, "name" : "li", "first" : "apples", "last" : "pie" }
{ "_id" : 3, "name" : "ahn", "first" : "pears", "last" : "cherries" }
{ "_id" : 4, "name" : "ty", "first" : "ice cream", "last" : "ice cream" }

1.2.7、日期聚合操作（Date Aggregation Operators）

范例

假如有一个集合 mycol

{ "_id" : 1, "item" : "abc", "price" : 10, "quantity" : 2, "date" : ISODate("2017-01-01T08:15:39.736Z") }

得到集合 mycol 中 date 字段的相关日期值

db.mycol.aggregate(
   [
     {
       $project:
         {
           year: { $year: "$date" },
           month: { $month: "$date" },
           day: { $dayOfMonth: "$date" },
           hour: { $hour: "$date" },
           minutes: { $minute: "$date" },
           seconds: { $second: "$date" },
           milliseconds: { $millisecond: "$date" },
           dayOfYear: { $dayOfYear: "$date" },
           dayOfWeek: { $dayOfWeek: "$date" },
           week: { $week: "$date" }
         }
     }
   ]
)
{
  "_id" : 1,
  "year" : 2017,
  "month" : 1,
  "day" : 1,
  "hour" : 8,
  "minutes" : 15,
  "seconds" : 39,
  "milliseconds" : 736,
  "dayOfYear" : 1,
  "dayOfWeek" : 1,
  "week" : 0
}

1.2.8、条件聚合操作（Conditional Aggregation Operators）

范例

假如有一个集合 mycol

{ "_id" : 1, "item" : "abc1", qty: 300 }
{ "_id" : 2, "item" : "abc2", qty: 200 }
{ "_id" : 3, "item" : "xyz1", qty: 250 }

如果集合 mycol 中 qty 字段值大于等于250，则返回30，否则返回20

db.mycol.aggregate(
   [
      {
         $project:
           {
             item: 1,
             discount:
               {
                 $cond: { if: { $gte: [ "$qty", 250 ] }, then: 30, else: 20 }
               }
           }
      }
   ]
)
{ "_id" : 1, "item" : "abc1", "discount" : 30 }
{ "_id" : 2, "item" : "abc2", "discount" : 20 }
{ "_id" : 3, "item" : "xyz1", "discount" : 30 }

1.2.9、数据类型聚合操作（Data Type Aggregation Operators）

范例

假如有一个集合 mycol

{ _id: 0, a : 8 }
{ _id: 1, a : [ 41.63, 88.19 ] }
{ _id: 2, a : { a : "apple", b : "banana", c: "carrot" } }
{ _id: 3, a :  "caribou" }
{ _id: 4, a : NumberLong(71) }
{ _id: 5 }

获取文档中 a 字段的数据类型

db.mycol.aggregate([{
    $project: {
       a : { $type: "$a" }
    }
}])
{ _id: 0, "a" : "double" }
{ _id: 1, "a" : "array" }
{ _id: 2, "a" : "object" }
{ _id: 3, "a" : "string" }
{ _id: 4, "a" : "long" }
{ _id: 5, "a" : "missing" }

1.3、聚合管道优化

默认情况下，整个集合作为聚合管道的输入，为了提高处理数据的效率，可以使用一下策略：

• 将 $match 和 $sort 放到管道的前面，可以给集合建立索引，来提高处理数据的效率。
• 可以用 $match、$limit、$skip 对文档进行提前过滤，以减少后续处理文档的数量。

当聚合管道执行命令时，MongoDB 也会对各个阶段自动进行优化，主要包括以下几个情况：

1. $sort + $match 顺序优化

如果 $match 出现在 $sort 之后，优化器会自动把 $match 放到 $sort 前面

2. $skip + $limit 顺序优化

如果 $skip 在 $limit 之后，优化器会把 $limit 移动到 $skip 的前面，移动后 $limit的值等于原来的值加上 $skip 的值。

例如：移动前：{$skip: 10, $limit: 5}，移动后：{$limit: 15, $skip: 10}

1.4、聚合管道使用限制

对聚合管道的限制主要是对 返回结果大小 和 内存 的限制。

返回结果大小

聚合结果返回的是一个文档，不能超过 16M，从 MongoDB 2.6版本以后，返回的结果可以是一个游标或者存储到集合中，返回的结果不受 16M 的限制。

内存

聚合管道的每个阶段最多只能用 100M 的内存，如果超过100M，会报错，如果需要处理大数据，可以使用 allowDiskUse 选项，存储到磁盘上。

2、单目的聚合操作

单目的聚合命令，常用的：count()、distinct()，与聚合管道相比，单目的聚合操作更简单，使用非常频繁。先通过 distinct() 看一下工作流程

distinct() 的作用是去重。而 count() 是求文档的个数。

下面用 count() 方法举例说明一下

范例

求出集合 article 中 time 值大于 2017-04-09 的文档个数

>db.article.count( { time: { $gt: new Date(‘04/09/2017‘) } } )
3

这个语句等价于

db.article.find( { time: { $gt: new Date(‘04/09/2017‘) } } ).count()

业精于勤，荒于嬉；行成于思，毁于随。

如果你觉得这篇文章不错或者对你有所帮助，可以通过右侧【打赏】功能，给予博主一点点鼓励和支持

MongoDB基础教程系列--第七篇 MongoDB 聚合管道

标签：文章   expr   rms   top   disco   combine   splay   continue   one   

本文系统来源：http://www.cnblogs.com/liruihuan/p/6686570.html

内容总结

以上是互联网集市为您收集整理的MongoDB基础教程系列--第七篇 MongoDB 聚合管道全部内容，希望文章能够帮你解决MongoDB基础教程系列--第七篇 MongoDB 聚合管道所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端