Hadoop源代码分析（包mapreduce.lib.input）
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop源代码分析（包mapreduce.lib.input），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2278字，纯文字阅读大概需要4分钟。
内容图文
| 接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以： l 检查MapReduce输入数据的正确性； l 将输入数据切分为逻辑块InputSplit，这些块会分配给Mapper； l 提供一个RecordReader实现，Mapper用该实现从InputSplit中读取输入的<K,V>对。 在org.apache.hadoop.mapreduce.lib.input中，Hadoop为所有基于文件的InputFormat提供了一个虚基类FileInputFormat。下面几个参数可以用于配置FileInputFormat：l mapred.input.pathFilter.class：输入文件过滤器，通过过滤器的文件才会加入InputFormat； l mapred.min.split.size：最小的划分大小； l mapred.max.split.size：最大的划分大小； l mapred.input.dir：输入路径，用逗号做分割。 类中比较重要的方法有：protectedList<FileStatus> listStatus(Configuration job) 递归获取输入数据目录中的所有文件（包括文件信息），输入的job是系统运行的配置Configuration，包含了上面我们提到的参数。publicList<InputSplit> getSplits(JobContext context) 将输入划分为InputSplit，包含两个循环，第一个循环处理所有的文件，对于每一个文件，根据输入的划分最大/最小值，循环得到文件上的划分。注意，划分不会跨越文件。FileInputFormat没有实现InputFormat的createRecordReader方法。 FileInputFormat有两个子类，SequenceFileInputFormat是Hadoop定义的一种二进制形式存放的键/值文件（参考http://hadoop.apache.org/core/do ... o/SequenceFile.html），它有自己定义的文件布局。由于它有特殊的扩展名，所以SequenceFileInputFormat重载了listStatus，同时，它实现了createRecordReader，返回一个SequenceFileRecordReader对象。TextInputFormat处理的是文本文件，createRecordReader返回的是LineRecordReader的实例。这两个类都没有重载FileInputFormat的getSplits方法，那么，在他们对于的RecordReader中，必须考虑FileInputFormat对输入的划分方式。 FileInputFormat的getSplits，返回的是FileSplit。这是一个很简单的类，包含的属性（文件名，起始偏移量，划分的长度和可能的目标机器）已经足以说明这个类的功能。 RecordReader用于在划分中读取<Key,Value>对。RecordReader有五个虚方法，分别是： l initialize：初始化，输入参数包括该Reader工作的数据划分InputSplit和Job的上下文context； l nextKey：得到输入的下一个Key，如果数据划分已经没有新的记录，返回空； l nextValue：得到Key对应的Value，必须在调用nextKey后调用； l getProgress：得到现在的进度； l close，来自java.io的Closeable接口，用于清理RecordReader。 我们以LineRecordReader为例，来分析RecordReader的构成。前面我们已经分析过FileInputFormat对文件的划分了，划分完的Split包括了文件名，起始偏移量，划分的长度。由于文件是文本文件，LineRecordReader的初始化方法initialize会创建一个基于行的读取对象LineReader（定义在org.apache.hadoop.util中，我们就不分析啦），然后跳过输入的最开始的部分（只在Split的起始偏移量不为0的情况下进行，这时最开始的部分可能是上一个Split的最后一行的一部分）。nextKey的处理很简单，它使用当前的偏移量作为Key，nextValue当然就是偏移量开始的那一行了（如果行很长，可能出现截断）。进度getProgress和close都很简单。 |
更多精彩内容请关注：http://bbs.superwu.cn
原文：http://crxy2013.blog.51cto.com/9922445/1653779
内容总结
以上是互联网集市为您收集整理的Hadoop源代码分析（包mapreduce.lib.input）全部内容，希望文章能够帮你解决Hadoop源代码分析（包mapreduce.lib.input）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。