hadoop之MapReduce WordCount分析

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop之MapReduce WordCount分析，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含870字，纯文字阅读大概需要2分钟。

内容图文

MapReduce的设计思想

主要的思想是分而治之(divide and conquer),分治算法。

将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇集。

写MapReduce程序的步骤：

1.把问题转化为MapReduce模型

2.设置运行的参数

3.写map类

4.写reduce类

例子：统计单词个数

将文件拆分成splits，每个文件为一个split，并将文件按行分割形成<key,value>对，MapReduce框架自动完成，其中行偏移量（即key值）包括了回车所占的字符数

将分割好的<key,value>对交给用户定义的map方法（TokenizerMapper）进行处理，生成新的<key,value>对。

得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key至相同value值累加，得到Mapper的最终输出结果。

Reducer先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法（IntSumReducer）进行处理，

得到新的<key,value>对，并作为WordCount的输出结果

下面我们看官方给出的例子：

1：将Block块分割成三个Split

2：每个Split对应一个mapper

3: 三个mapper输出结果进行Shuffling,每个map的输出只是简单的key-value而非key-valuelist，

   所以洗牌的工作就是将map输出转化为reducer的输入的过程。

   在reducer开始之前shuffle要做的事情分为两步copy和sort 阶段。

原文：http://www.cnblogs.com/crazyht/p/5087051.html

内容总结

以上是互联网集市为您收集整理的hadoop之MapReduce WordCount分析全部内容，希望文章能够帮你解决hadoop之MapReduce WordCount分析所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---