辛星笔记之Hadoop权威指南第三篇combiner

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了辛星笔记之Hadoop权威指南第三篇combiner，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含526字，纯文字阅读大概需要1分钟。

内容图文

     集群上的可用宽带限制了MapReduce作业的数量，因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数，有时候我们也称作combiner，它就像mapper和reducer一样。

      合并函数的输出作为reduce函数的输入，由于合并函数是一个优化方案，所以Hadoop无法确定针对map任务输出中任一条记录需要调用多少次合并函数。不管我们调用多少次合并函数，reducer的输出结果都应该一致。合并函数的规则限定了可以使用的函数类型。

     我们仍然需要reduce函数来处理不同map输出中具有相同键的记录，它能够有效的减少map和reduce之间的数据传输量，在MapReduce作业中使用combiner，是需要谨慎考虑的。

     在MapReduce程序中，合并函数是通过reducer接口来定义的，并且我们需要在JobConf中设置combiner类，这里使用的是setCombinerClass这个方法。

     

原文：http://blog.csdn.net/xinguimeng/article/details/44001507

内容总结

以上是互联网集市为您收集整理的辛星笔记之Hadoop权威指南第三篇combiner全部内容，希望文章能够帮你解决辛星笔记之Hadoop权威指南第三篇combiner所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---