首页 / HADOOP / 16-hadoop-mapreduce简介

16-hadoop-mapreduce简介

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了16-hadoop-mapreduce简介，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含585字，纯文字阅读大概需要1分钟。

内容图文

mapreduce是hadoop的核心组件, 设计理念是移动计算而不是移动数据,

mapreduce的思想是‘分而治之‘, 将复杂的任务分解成几个简单的任务去执行

1, 数据和计算规模大大减少
2, 就近计算, 移动计算
3, 小任务并行计算, 彼此间没有依赖

共分为4个步骤: 

技术分享

 

1, split

切分blcok, 切分为数据片段, split0, split1, split2

 

计算公式为: 

技术分享

2, map

自定义的程序, 根据业务需求来的,

map任务的多少, 根据碎片的多少来的, 即上一步切分为多少个split , 每个split位一个线程,  split传递的数据为 key-value的形式, 输出形式也为键值对

 

技术分享

 

相同key的数据, 输出为一组数据, 然后将数据进行下一步, 洗牌(sharp)

  

3, shuffler

 包括 sort 和 merger, 把mapper输出的的数据进行切分, 排序, 组合等操作, 吧key符合某种范围的输出到特定的reducer那里

技术分享

 

 过程为: 

技术分享

 

 

 

4, reduce

reduce的数量, 技术分享

 

一个mapreduce 默认 只有一个reduce , 可通过配置分区数来更改reduce的数量

 

原文：http://www.cnblogs.com/wenbronk/p/7074128.html

内容总结

以上是互联网集市为您收集整理的16-hadoop-mapreduce简介全部内容，希望文章能够帮你解决16-hadoop-mapreduce简介所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1296739.html

来源：【匿名】