mongodb mapreduce使用总结
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了mongodb mapreduce使用总结，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4442字，纯文字阅读大概需要7分钟。
内容图文
文章来自本人个人博客： mongodb mapreduce使用总结 ?
大家都知道，mongodb是一个非关系型数据库，也就是说，mongodb数据库中的每张表是独立存在的，表与表之间没有任何依赖关系。在mongodb中，除了各种CRUD语句之外，还给我们提供了聚合和mapreduce统计的功能，这篇文章主要来跟大家聊聊mongodb的mapreduce的操作。
?mapreduce的概念我就不赘述了，大家自己去查查吧。
?在mongodb中，mapreduce的语法如下：
?
db.table.mapReduce(
map,
reduce,
{
query: query,
out: out, //指定结果集以什么方式存储，可选参数包括：
//replace:如果文档(table)存在，则替换table，
//merge:如果文档中存在记录，则覆盖已存在的文档记录
//reduce: 如果文档中存在相同key的记录了，则先计算两条记录，然后覆盖旧记录
// {inline:1} 在内存中存储记录，不写入磁盘(用户数据量少的计算)
sort: sort,
limit: limit,
finalize: function //这个function主要用来在存入out之前可以修改数据，function(key,values) {
//return modifiedValues;}
scope: document, //指定reduce可访问的文档范围
jsMode:boolean //指定是否在map和ruduce之间立即将数据转换为Bason格式，默认为false
//如果想设置为true,则要记住官方我那当的注意事项：
//You can only use jsMode for result sets with fewer than
//500,000 distinct key arguments to the mapper’s emit()function.
verbose:boolean //是否在结果集中包含timing信息，默认是包含的
}
)
?在做mongodb的mapreduce时，要确保你的query是可以利用到索引的，不然在大数据量的统计下，将会托夸整个数据库，如果确实没办法建索引，那么就在结果集中判断一些不符合条件的数据，而去掉query。
?mapreduce的语法其实很简单，只不过这里面有几点需要注意一下：
? ?1.在map中，mongodb是每1000条数据就reduce一次
? ?2.在map中，如果你想统计一个数据之和，需要这样写：
? ? ?emit(key:this.key,sum:0})
? ? ?然后再在reduce里需要将上一次的sum迭代累加起来，然后return {sum:sum};如果不这样做，你计算出来的数据总是最后不足1000条数据之后统计出来的，而前面的数据就都丢失了。
? 3.如果能不用mapreduce，就不用，程序能够统计的，就不要用mongodb频繁统计。
? 4.mapreduce的结果集的数据格式是：{_id:key,value:{}},因此如果想直接使用这个表的话，最好再重新将数据格式整理一次，?尽量将数据放在最上次，而不是再用value.xxx去查询。
?这里附上统计我们网站的用户发表内容的数量的mapreduce，仅供一种代码格式的参考价值吧：
?
var db = connect(‘127.0.0.1:27017/test‘);
db.aAccounttemp.drop();
var map = function() {
emit(this.accountId,
{sum:0,
reblogFlag:this.reblogFlag,dashboardFlag:this.dashboardFlag,dashboardType:this.dashboardType,
photoNum:0,postNum:0,reblogNum:0,videoNum:0,videoShortNum:0, musicNum:0,
questionNum:0,appNum:0, dialogNum:0});
}
var reduce = function(key,values) {
var sum = 0;
var photoNum = 0;
var postNum = 0;
var reblogNum = 0;
var videoNum = 0;
var videoShortNum = 0;
var musicNum = 0;
var questionNum = 0;
var appNum = 0;
var dialogNum = 0;
for (var i = 0; i < values.length; i++) {
var data = values[i];
var reblogFlag = data.reblogFlag;
var dashboardFlag = data.dashboardFlag;
var dashboardType = data.dashboardType;
sum += data.sum;
photoNum += data.photoNum;
reblogNum += data.reblogNum;
postNum += data.postNum;
videoNum += data.videoNum;
musicNum += data.musicNum;
videoShortNum += data.videoShortNum;
questionNum += data.questionNum;
appNum += data.appNum;
dialogNum += data.dialogNum;
if(!reblogFlag) {
if(dashboardFlag) {
sum += 1;
if(dashboardType == 10) {
postNum += 1;
} else if(dashboardType == 20) {
photoNum += 1;
} else if(dashboardType == 30) {
videoNum += 1;
} else if(dashboardType == 31) {
videoShortNum += 1;
} else if(dashboardType == 40) {
musicNum += 1;
} else if(dashboardType == 60) {
questionNum += 1;
} else if(dashboardType == 100) {
appNum += 1;
} else if(dashboardType == 91) {
dialogNum += 1;
}
} else {
if(dashboardType == 20) {
photoNum += 1;
}
}
} else if(reblogFlag && dashboardFlag) {
reblogNum += 1;
}
}
return {sum:NumberInt(sum),reblogNum:NumberInt(reblogNum),postNum:NumberInt(postNum),photoNum:NumberInt(photoNum),
videoNum:NumberInt(videoNum),videoShortNum:NumberInt(videoShortNum),
musicNum:NumberInt(musicNum), questionNum:NumberInt(questionNum),appNum:NumberInt(appNum),dialogNum:NumberInt(dialogNum)};
};
db.getMongo().setSlaveOk();
db.dashboard_basic.mapReduce(
map,
reduce,
{
out:{merge:‘aAccounttemp‘}
}
);
var results = db.aAccounttemp.find();
//重新整理数据格式，存入正规表中
while (results.hasNext()) {
var obj = results.next();
var value = obj.value;
var sum = NumberInt(value.sum);
var reblogNum = NumberInt(value.reblogNum);
var postNum = NumberInt(value.postNum);
var photoNum = NumberInt(value.photoNum);
var videoNum = NumberInt(value.videoNum);
var videoShortNum = NumberInt(value.videoShortNum);
var musicNum = NumberInt(value.musicNum);
var questionNum = NumberInt(value.questionNum);
var appNum = NumberInt(value.appNum);
var dialogNum = NumberInt(value.dialogNum);
var accountId = obj._id;
db.dashboard_account_num.insert({accountId:accountId,sum:sum,reblogNum:reblogNum,postNum:postNum,photoNum:photoNum,
videoShortNum:videoShortNum,videoNum:videoNum,musicNum:musicNum,questionNum:questionNum,
appNum:appNum,dialogNum:dialogNum});
}
print(‘success insert total ‘ + results.count()+ ‘ datas‘);
db.aAccounttemp.drop()
quit()
原文：http://blog.csdn.net/startupmount/article/details/38117669
内容总结
以上是互联网集市为您收集整理的mongodb mapreduce使用总结全部内容，希望文章能够帮你解决mongodb mapreduce使用总结所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。