Hadoop2.4.0 中Eclipse 平台的搭建
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop2.4.0 中Eclipse 平台的搭建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2228字，纯文字阅读大概需要4分钟。
内容图文
一、Hadoop2.4.0环境下Eclipse平台的搭建
1.安装Eclipse
对于hadoop集群，我们将eclipse安装在master节点上，首先下载Eclipse安装包（如：eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压，并把解压后的目录移动到/usr/local路径下，然后启动eclipse:
下载网址： http://www.eclipse.org/downloads/?osType=linux&release=undefined
2. 在 eclipse 上安装 hadoop 插件
由于我们使用的是 hadoop2.x 版本的，所以插件我们也要下载 相应的版本（下载地址： http://pan.baidu.com/s/1mgiHFok ）。下载的 zip 文件包含了源码，我们使用使用编译好的 jar 即可。解压后， release 目录中的 hadoop.eclipse-kepler-plugin-2.2.0.jar 就是编译好的插件。我们将该 jar 包移动到 /usr/local/eclipse/plugins 目录下，然后重启 eclipse ：
当从上图中左侧 "Project Explorer" 下面发现 "DFSLocations" ，说明 eclipse 已经识别刚才放入的 HadoopEclipse 插件了。
3. 配置 Hadoop installation directory
选择 "Window" 菜单下的 "Preference" （如上图），然后弹出一个窗体，在窗体的左侧，有一列选项，里面会多出 "HadoopMap/Reduce" 选项，点击此选项，设置 Hadoop 的安装目录（如我的 Hadoop 目录是： /usr/hadoop ）。结果如下图：
4. 配置 Map/Reduce Locations
打开 Window—Open Perspective—Other ， 弹出一个窗体，从中选择 "Map/Reduce" 选项即可进行切换：
点击OK按钮后，在Eclipse软件的右上角活着右下角，会有如图所示的标志：
点击右下角标志：
选择“小象”图标，打开Hadoop Location配置窗口,并进行先关设置：
点击 "finish" 之后，会发现 Eclipse 软件下面的 "Map/Reduce Locations" 出现一条信息，即我们刚才建立的 "Map/ReduceLocation".
查看 HDFS 文件系统，并尝试建立文件夹和上传文件。当我们在 /usr/hadoop 目录下有 input 和 output 目录时：
此时点击 eclipse 软件左侧的 "DFS Locations" 下面：我们也看到了 input 和 output 目录，如图：
到此为止，我们的 Hadoop Eclipse 开发环境已经配置完毕。
二、Eclipse调试及运行mapreduce程序
用eclipse运行mapreduce程序，便于mapreduce程序的编写和调试。我们以用测试hadoop自带的mapreduces程序WordCout为例（存放路径/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-2.4.0.jar）加以说明。
1.创建Mapreduce项目
从 "File" 菜单，选择 "Other" ，找到 "Map/ReduceProject" ，然后选择它：
2.创建WordCount类：
选择 "WordCountProject" 工程，右击弹出菜单，然后选择 "New" ，接着选择 "Class" ，然后填写如下信息：
然后在WordCount类中编写Mapreduce程序。
3.运行WordCount程序
（1）在HDFS上创建目录input1,并上传文件：
【注：文件中的内容为：file1.txt:hello Word file2.txt： hello Hadoop】
（2）配置运行信息：
点击WordCount.java，右键，点击Run As—>Run Configurations，配置运行参数，即输入和输出目录：
hdfs://master:9000/user/hadoop/input1
hdfs://master:9000/user/hadoop/output1
如果点击run按钮运行后，控制台出现：
那么我们需要在该项目的src目录下创建log4j.properties文件，然后对其配置，配置内容如下即可：
注：log4j文件的配置信息详见 http://blog.csdn.net/newhappy2008/article/details/2499250
4.结果查看：
①通过命令查看：
②在DFS Locations中查看：
运行后Wordcount程序后，刷新hadoop目录，出现output1目录，打开其目录下的part-r-00000文件，亦可得运行结果:
版权声明：本文为博主原创文章，未经博主允许不得转载。
原文：http://blog.csdn.net/u010183397/article/details/47069713
内容总结
以上是互联网集市为您收集整理的Hadoop2.4.0 中Eclipse 平台的搭建全部内容，希望文章能够帮你解决Hadoop2.4.0 中Eclipse 平台的搭建所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。