首页 / JAVA / java – 如何对自定义RecordReader和InputFormat类进行单元测试？

java – 如何对自定义RecordReader和InputFormat类进行单元测试？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java – 如何对自定义RecordReader和InputFormat类进行单元测试？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1254字，纯文字阅读大概需要2分钟。

内容图文

我开发了一个map-reduce程序.我编写了自定义RecordReader和InputFormat类.

我使用MR Unit和Mockito进行映射器和减速器的单元测试.

我想知道如何单元测试自定义RecordReader和InputFormat类？测试这些类的最佳方法是什么？

解决方法:

感谢user7610

来自answer的示例代码的编译和测试版本

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.InputFormat;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.TaskAttemptID;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl;
import org.apache.hadoop.util.ReflectionUtils;
import java.io.File;

Configuration conf = new Configuration(false);
conf.set("fs.default.name", "file:///");

File testFile = new File("path/to/file");
Path path = new Path(testFile.getAbsoluteFile().toURI());
FileSplit split = new FileSplit(path, 0, testFile.length(), null);

InputFormat inputFormat = ReflectionUtils.newInstance(MyInputFormat.class, conf);
TaskAttemptContext context = new TaskAttemptContextImpl(conf, new TaskAttemptID());
RecordReader reader = inputFormat.createRecordReader(split, context);

reader.initialize(split, context);

内容总结

以上是互联网集市为您收集整理的java – 如何对自定义RecordReader和InputFormat类进行单元测试？全部内容，希望文章能够帮你解决java – 如何对自定义RecordReader和InputFormat类进行单元测试？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/752224.html

来源：【匿名】