错误:java.io.IOException:错误的值类:类org.apache.hadoop.io.Text不是类Myclass
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了错误:java.io.IOException:错误的值类:类org.apache.hadoop.io.Text不是类Myclass,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2588字,纯文字阅读大概需要4分钟。
内容图文
我有我的mapper和reducer如下.但我得到了一些奇怪的例外.
我无法弄清楚为什么会抛出这种异常.
public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> {
@Override
public void map(LongWritable key, Text value,
OutputCollector<Text, Info> output, Reporter reporter)
throws IOException {
Text text = new Text("someText")
//process
output.collect(text, infoObjeject);
}
}
public static class MyReducer implements Reducer<Text, Info, Text, Text> {
@Override
public void reduce(Text key, Iterator<Info> values,
OutputCollector<Text, Text> output, Reporter reporter)
throws IOException {
String value = "xyz" //derived in some way
//process
output.collect(key, new Text(value)); //exception occurs at this line
}
}
System.out.println("Starting v14 ");
JobConf conf = new JobConf(RouteBuilderJob.class);
conf.setJobName("xyz");
String jarLocation =ClassUtil.findContainingJar(getClass());
System.out.println("path of jar file = " + jarLocation);
conf.setJarByClass(RouteBuilderJob.class);
conf.setMapOutputKeyClass(Text.class);
conf.setMapOutputValueClass(Info.class);
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(Text.class);
//am i missing something here???
conf.setMapperClass(RouteBuilderJob.RouteMapper.class);
conf.setCombinerClass(RouteBuilderJob.RouteReducer.class);
conf.setReducerClass(RouteBuilderJob.RouteReducer.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
我得到一个例外:
Error: java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not class com.xyz.mypackage.Info
at org.apache.hadoop.mapred.IFile$Writer.append(IFile.java:199)
at org.apache.hadoop.mapred.Task$CombineOutputCollector.collect(Task.java:1307)
at com.xyz.mypackage.job.MyJob$RouteReducer.reduce(MyJob.java:156)
at com.xyz.mypackage.job.MyJob$RouteReducer.reduce(MyJob.java:1)
内部信息对象(实现Writable)使用Text进行序列化
@Override
public void write(DataOutput out) throws IOException {
Gson gson = new Gson();
String searlizedStr = gson.toJson(this);
Text.writeString(out, searlizedStr);
}
@Override
public void readFields(DataInput in) throws IOException {
String s = Text.readString(in);
Gson gson = new Gson();
JsonReader jsonReader = new JsonReader(new StringReader(s));
jsonReader.setLenient(true);
Info info = gson.fromJson(jsonReader, Info.class);
//set fields using this.somefield = info.getsomefield()
}
解决方法:
从技术上讲,reduce的输出类型应与输入类型相同.如果使用组合器,合并器的输出被送入减速器,则必须如此.
内容总结
以上是互联网集市为您收集整理的错误:java.io.IOException:错误的值类:类org.apache.hadoop.io.Text不是类Myclass全部内容,希望文章能够帮你解决错误:java.io.IOException:错误的值类:类org.apache.hadoop.io.Text不是类Myclass所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。