java.io.IOException:所有收集器的初始化失败.最后一个收集器中的错误是:null
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了java.io.IOException:所有收集器的初始化失败.最后一个收集器中的错误是:null,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1520字,纯文字阅读大概需要3分钟。
内容图文
![java.io.IOException:所有收集器的初始化失败.最后一个收集器中的错误是:null](/upload/InfoBanner/zyjiaocheng/795/6a254c05dac240089486fd4df7b6a4be.jpg)
我是MapReduce的新手,我正在尝试找到一个问题的解决方案.我正在尝试链接两个地图减少作业.第一个工作正在执行但在第二个工作我得到一个错误如下
INFO mapreduce.Job: Task Id : attempt_1445271708293_0055_m_000000_1, Status : FAILED
Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :null
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:414)
at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.NullPointerException
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1011)
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
... 9 more
解决方法:
当map任务的输出类型与reduce任务的输入类型不匹配时,我遇到了同样的错误.
mapper中的最后两个参数应该与reducer中的前两个参数类型相同.
public class ByteCalculationMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
public class ByteCalculationReducer extends Reducer<Text, IntWritable, Text, Text> {
内容总结
以上是互联网集市为您收集整理的java.io.IOException:所有收集器的初始化失败.最后一个收集器中的错误是:null全部内容,希望文章能够帮你解决java.io.IOException:所有收集器的初始化失败.最后一个收集器中的错误是:null所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。