下午对着源码看陆喜恒. Hadoop实战（第2版）6.4.1 （Shuffle和排序）Map端，发现与Hadoop 1.2.1的源码有些出入。下面作个简单的记录，方便起见，引用自书本的语句都用斜体表示。依书本，从MapTask.java开始。这个类有多个内部类：从书的描述可知，collect()并不在MapTask类，而在MapOutputBuffer类，其函数功能是1、定义输出内存缓冲区为环形结构2、定义输出内存缓冲区内容到磁盘的操作在collect函数中将缓冲区的内容写出时会调用...
配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符）把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便）如果是在windows下开发，需要添加windows的库文件把盘中共享的bin目录覆盖HADOOP_HOME/bin如果还是不行，把其中的hadoop.dll复制到c:\windows\system32目录下，可能需要重启机器建立新项目，引入hadoop需要的jar文件代码WordMapper：import java.io.I...
1、进入hadoop的配置目录 ，找到 环境变量的 $HADOOP_HOMEcd $HADOOP_HOME2、修改dataNode 节点的 单个map的能使用的内存配置找到配置的文件：/opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred-site.xml 增加如下的配置： 设置java的内存大小参数是；512M 大小根据的实际情况调整 <property><name>mapred.child.java.opts</name><value>-Xmx512m</value></property>原文：http://www.cnblogs.com/lilin0719/p/6798720.html
一、Hadoop计数器1.1 什么是Hadoop计数器 Haoop是处理大数据的，不适合处理小数据，有些大数据问题是小数据程序是处理不了的，他是一个高延迟的任务，有时处理一个大数据需要花费好几个小时这都是正常的。下面我们说一下Hadoop计数器，Hadoop计数器就相当于我们的日志，而日志可以让我们查看程序运行时的很多状态，而计数器也有这方面的作用。那么就研究一下Hadoop自身的计数器。计数器的程序如代码1.1所示，下面代码还是以内容...
修改陆喜恒. Hadoop实战（第2版）5.3排序的代码时遇到IO异常。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1异常具体信息如下 1 14/10/06 03:08:51 INFO mapred.JobClient: Task Id : attempt_201410021756_0043_m_000000_0, Status : FAILED2 java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text3 at org.apache.hadoop.ma...
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map 的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，默认为64M，可以通过参数dfs.block.size设置total_size : 输入文件整体的大小input_file_num : 输入文件的个数（1）默...
使用MultipleInputs.addInputPath 对多个路径输入现在假设有三个目录，并使用了三个mapper去处理，经过map处理后，输出的结果会根据key 进行join，如果使用TextPair，会根据第一个字段jion，第二个字段排序然后在作为reduce的输入，进行计算原文：http://blog.csdn.net/smile0198/article/details/34534241
这样的操作在map端或者reduce端均可。下面以一个实际业务场景中的例子来简要说明。问题简要描述：假如reduce输入的key是Text(String),value是BytesWritable(byte[]),不同key的种类为100万个，value的大小平均为30k左右，每个key大概对应 100个value,要求对每一个key建立两个文件，一个用来不断添加value中的二进制数据，一个用来记录各个value在文件中的位置索引。(大量的小文件会影响HDFS的性能，所以最好对这些小文件进行拼接）当...
有这么个需求：一个目录下的数据只能由一个map来处理。如果多个map处理了同一个目录下的数据会导致数据错乱。 刚开始google了下，以为网上都有现成的InputFormat，找到的答案类似我之前写的 mapreduce job让一个文件只由一个map来处理。 或者是把目录写在文有这么个需求：一个目录下的数据只能由一个map来处理。如果多个map处理了同一个目录下的数据会导致数据错乱。 刚开始google了下，以为网上都有现成的InputFormat，找到的答案...
Hadoop中连接（join）操作很常见，Hadoop“连接”的概念本身，和SQL的“连接”是一致的。SQL的连接，在维基百科中已经说得非常清楚。比如dataset A是关于用户个人信息的，key是用户id，value是用户姓名等等个人信息；dataset B是关于用户交易记录的，key是用 Hadoop中连接（join）操作很常见，Hadoop“连接”的概念本身，和SQL的“连接”是一致的。SQL的连接，在维基百科中已经说得非常清楚。比如dataset A是关于用户个人信息的，k...
转载自：如何在hadoop中控制map的个数hadoop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还转载自：如何在hadoop中控制map的个数 hadoop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是...
本文演示如何在Eclipse中开发一个Map/Reduce项目： 1、环境说明 Hadoop2.2.0 Eclipse?Juno SR2 Hadoop2.x-eclipse-plugin 插件的编译安装配置的过程参考：http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/ 2、新建MR工程 依次本文演示如何在Eclipse中开发一个Map/Reduce项目： 1、环境说明 Hadoop2.2.0Eclipse?Juno SR2Hadoop2.x-eclipse-plugin 插件的编译安装配置的过程参考：http://www.micmiu.c...
纯干活：通过WourdCount程序示例：详细讲解MapReduce之BlockSplitShuffleMapReduce的区别及数据处理流程。 Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要想了解MR，Shuffle是必须要理解的。了解Shuffle的过程，更有利于我们在对MapReduce job纯干活：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要...
如题回复内容： hadoop map阶段所做的事 类比于 python maphadoop reduce阶段所做的事 类比于 python groupby但只是类比，hadoop map阶段和reduce阶段有更具体细节的不同步骤，两者牛头无法对上马嘴。MapReduce是一种Google第一次提出的，在并行集群里对大数据进行计算的的一种编程模型。它包括map与reduce。map与reduce来源于函数式编程的两个方法。Hadoop的MapReduce是对Google MapReduce的一个开源实现。它提供Map与Reduce两个接...
我发现Windows上的Hadoop有点令人沮丧：我想知道对于Win32用户,是否有Hadoop的替代品.我最看重的功能是： >易于初始设置和在较小的网络上进行部署(如果我们为该项目分配了20台以上的PC,我会感到惊讶)>易于管理-理想的框架应该具有基于Web / GUI的管理系统,这样我就不必自己写书了.>流行的东西稳定.奖金取决于我们能否及时交付该项目. 背景： 我工作的公司希望建立一个新的网格系统来运行一些财务计算. 我一直在评估的第一个框架是H...