首页 / IDEA / Hadoop on Mac with IntelliJ IDEA - 7 解决failed to report status for 600 seconds. Killing!问题

Hadoop on Mac with IntelliJ IDEA - 7 解决failed to report status for 600 seconds. Killing!问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop on Mac with IntelliJ IDEA - 7 解决failed to report status for 600 seconds. Killing!问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1651字，纯文字阅读大概需要3分钟。

内容图文

本文讲述作业在Hadoop 1.2.1完成map后ruduce阶段遇到failed to report status for 600 seconds. Killing!问题的解决过程。

环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1

Hadoop放在虚拟机中，宿主机通过SSH连接，IDE和数据文件在宿主机。IDEA自身运行于JDK 1.8，IDEA工程及Hadoop使用JDK 1.6。

提交作业到hadoop后，作业执行时间过长，输出如下

reduce阶段进行到66%后重新开始，接着输出报告10分钟内汇报状态失败，进程被终止提示。然后，reduce继续。

造成超时的原因可能是reducer执行耗时计算却没向Hadoop框架汇报任务进展。还可能是，程序耗尽所有java堆空间或垃圾回收器频繁启动，导致reducer无法及时向job tracker发送状态因而被终止。或者是，其中一个reducer接收到太多错误的数据，它们使程序失去响应。对此，主要有两种解决方式。

方式一，在mapred-site.xml中增大超时值

            <
            property
            >
            <
            name
            >mapred.task.timeout</name><value>1200000</value></property>

默认超时值为600000毫秒，即10分钟。

方式二，每隔n行记录汇报一次，如Reducer文档示例所示

            public
            void reduce(K key, Iterator<V> values,
OutputCollector<K, V> output, 
Reporter reporter) throws IOException {
    // report progressif ((noValues%10) == 0) {
        reporter.progress();
    }
    // ...
}

另外，还可以在上述示例中添加一个自定义计数器，如reporter.incrCounter(NUM_RECORDS, 1);当以上方式无效时，可考虑方式三。

方式三，尝试加大JVM堆大小，在mapred-site.xml设置

            <
            property
            >
            <
            name
            >mapred.child.java.opts</name><value>-Xmx2048m</value></property>

如何确定堆大小，可参考Hadoop on Mac with IntelliJ IDEA - 5 解决java heap space问题的引用资料：JVM调优总结 -Xms -Xmx -Xmn -Xss。同时，尝试减少并行reducer数量。

            <
            property
            >
            <
            name
            >mapred.tasktracker.reduce.tasks.maximum</name><value>1</value></property>

默认值为2，新设置数值应该小于当前值。 

参考

[1]http://stackoverflow.com/questions/15281307/the-reduce-fails-due-to-task-attempt-failed-to-report-status-for-600-seconds-ki

原文：http://www.cnblogs.com/michaellfx/p/4003434.html

内容总结

以上是互联网集市为您收集整理的Hadoop on Mac with IntelliJ IDEA - 7 解决failed to report status for 600 seconds. Killing!问题全部内容，希望文章能够帮你解决Hadoop on Mac with IntelliJ IDEA - 7 解决failed to report status for 600 seconds. Killing!问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1281520.html

来源：【匿名】