首页 / HADOOP / 使用Eclipse运行Hadoop 2.x MapReduce程序常见问题

使用Eclipse运行Hadoop 2.x MapReduce程序常见问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用Eclipse运行Hadoop 2.x MapReduce程序常见问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1607字，纯文字阅读大概需要3分钟。

内容图文

1、 当我们编写好MapReduce程序，点击Run on Hadoop的时候，Eclipse控制台输出如下内容：

这个信息告诉我们没有找到log4j.properties文件。如果没有这个文件，程序运行出错的时候，就没有打印日志，因此我们会很难调试。

解决方法：复制$HADOOP_HOME/etc/hadoop/目录下的log4j.properties文件到MapReduce项目 src文件夹下。

2、当执行MapReduce程序的时候，Eclipse可能会报告堆益处的错误。 此时，MapReduce程序执行的out目录已经被创建，但是此时目录为空，再重新运行程序之前我们需要删除这个输出目录。如下图所示：

                                                           

分析：首先我们可以输入命令(java -client -XX:+UnlockDiagnosticVMOptions -XX:+PrintFlagsFinal -version | grep -i heapsize)，来查看当前JDK支持的最大堆。然后在此基础上增加堆大小。

解决方案：在当前运行程序的运行配置中设置VM arguments参数,如下图所示：

 

3.Hadoop的本地库（Native Libraries）介绍

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

目前在Hadoop中，本地库应用在文件的压缩上面：

在使用这两种压缩方式的时候，Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。

如果加载成功，输出为：

DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
INFO util.NativeCodeLoader - Loaded the native-hadoop library 

如果加载失败，输出为：

INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在Hadoop的配置文件core-site.xml中可以设置是否使用本地库：

<property>
  <name>hadoop.native.lib</name>
  <value>true</value>
  <description>Should native hadoop libraries, if present, be used.</description>
</property>

Hadoop默认的配置为启用本地库。

另外，可以在环境变量中设置使用本地库的位置：

export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

有的时候也会发现Hadoop自带的本地库无法使用，这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下，使用如下命令即可：

ant compile-native

编译完成后，可以在$HADOOP_HOME/build/native目录下找到相应的文件，然后指定文件的路径或者移动编译好的文件到默认目录下即可。

 

原文：http://my.oschina.net/997155658/blog/335959

内容总结

以上是互联网集市为您收集整理的使用Eclipse运行Hadoop 2.x MapReduce程序常见问题全部内容，希望文章能够帮你解决使用Eclipse运行Hadoop 2.x MapReduce程序常见问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1100513.html

来源：【匿名】