java – CDH5.2：MR,无法初始化任何输出收集器
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了java – CDH5.2：MR,无法初始化任何输出收集器，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2413字，纯文字阅读大概需要4分钟。
内容图文
Cloudera CDH5.2快速入门VM
Cloudera Manager显示所有节点state = GREEN
我在Eclipse上做了一个MR工作,包括Build Path中的所有相关cloudera jar：
Avro的-1.7.6-cdh5.2.0.jar,
Avro的-mapred-1.7.6-cdh5.2.0-hadoop2.jar,
Hadoop的共同-2.5.0-cdh5.2.0.jar,
Hadoop的MapReduce的客户核心2.5.0-cdh5.2.0.jar
我做了以下工作
hadoop jar jproject1.jar avro00.AvroUserPrefCount -libjars ${LIBJARS} avro/00/in avro/00/out
我得到以下错误,是Java堆问题,任何评论？先感谢您
14/11/14 01:02:40 INFO client.RMProxy: Connecting to ResourceManager at quickstart.cloudera/127.0.0.1:8032
14/11/14 01:02:43 INFO input.FileInputFormat: Total input paths to process : 1
14/11/14 01:02:43 INFO mapreduce.JobSubmitter: number of splits:1
14/11/14 01:02:44 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1415950730849_0001
14/11/14 01:02:45 INFO impl.YarnClientImpl: Submitted application application_1415950730849_0001
14/11/14 01:02:45 INFO mapreduce.Job: The url to track the job: http://quickstart.cloudera:8088/proxy/application_1415950730849_0001/
14/11/14 01:02:45 INFO mapreduce.Job: Running job: job_1415950730849_0001
14/11/14 01:03:04 INFO mapreduce.Job: Job job_1415950730849_0001 running in uber mode : false
14/11/14 01:03:04 INFO mapreduce.Job: map 0% reduce 0%
14/11/14 01:03:11 INFO mapreduce.Job: Task Id : attempt_1415950730849_0001_m_000000_0, Status : FAILED
Error: java.io.IOException: Unable to initialize any output collector
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:412)
at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
...
...
解决方法:
检查失败尝试的完整任务日志attempt_1415950730849_0001_m_000000_0将有助于说明您遇到给定异常的原因.
观察此类错误的最常见原因是您的工作中io.sort.mb的值配置错误.它的值绝不能接近(或高于)配置的映射任务堆大小,并且当前也不得超过~2000 MB(Java数组最大大小).
通过MAPREDUCE-6194,最近提出并解决了在真正的故障上使错误更加清晰的上游改进.
内容总结
以上是互联网集市为您收集整理的java – CDH5.2：MR,无法初始化任何输出收集器全部内容，希望文章能够帮你解决java – CDH5.2：MR,无法初始化任何输出收集器所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。