首页 / HADOOP / hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar

hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10243字，纯文字阅读大概需要15分钟。

内容图文

hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar

之前介绍了我在Ubuntu下组合虚拟机Centos6.4搭建hadoop2.7.2集群,为了做mapreduce开发,要使用eclipse,并且需要对应的hadoop插件hadoop-eclipse-plugin-2.7.2.jar,首先说明一下,在hadoop1.x之前官方hadoop安装包中都自带有eclipse的插件,而如今随着程序员的开发工具eclipse版本的增多和差异,hadoop插件也必须要和开发工具匹配,hadoop的插件包也不可能全部兼容.为了简化,如今的hadoop安装包内不会含有eclipse的插件.需要各自根据自己的eclipse自行编译.

使用ant制作自己的eclipse插件,介绍一下我的环境和工具

Ubuntu 14.04,(系统不重要Win也可以,方法都一样)ide工具eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz

技术分享

ant(这个也随意,二进制安装或者apt-get安装都可以,配置好环境变量)

export ANT_HOME=/usr/local/ant/apache-ant-1.9.7
export PATH=$PATH:$ANT_HOME/bin

如果提示找不到ant的launcher.ja包,添加环境变量

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/toos.jar:$ANT_HOME/lib/ant-launcher.jar

hadoop@hadoop:~$ ant -version
Apache Ant(TM) version 1.9.7 compiled on April 9 2016

ant制作eclipse插件需要获取ant的hadoop2x-eclipse-plugin插件,下面是github提供的资源网址

https://github.com/winghc/hadoop2x-eclipse-plugin

以zip格式下载,然后解压到一个合适的路径下.注意路径的权限和目录所有者是当前用户下的

三个编译工具和资源的路径如下

hadoop@hadoop:~$ cd hadoop2x-eclipse-plugin-master
hadoop@hadoop:hadoop2x-eclipse-plugin-master$ pwd
/home/hadoop/hadoop2x-eclipse-plugin-master
hadoop@hadoop:hadoop2x-eclipse-plugin-master$ cd /opt/software/hadoop-2.7.2
hadoop@hadoop:hadoop-2.7.2$ pwd
/opt/software/hadoop-2.7.2
hadoop@hadoop:hadoop-2.7.2$ cd /home/hadoop/eclipse/
hadoop@hadoop:eclipse$ pwd
/home/hadoop/eclipse

根据github说明部分:如何制作,按照操作进行ant

解压下载过来的hadoop2x-eclipse-plugin,进入其中目录hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/执行操作

How to build

[hdpusr@demo hadoop2x-eclipse-plugin]$ cd src/contrib/eclipse-plugin

# Assume hadoop installation directory is /usr/share/hadoop

[hdpusr@apclt eclipse-plugin]$ ant jar -Dversion=2.4.1 -Dhadoop.version=2.4.1 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoop

final jar will be generated at directory

${hadoop2x-eclipse-plugin}/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.4.1.jar

但是此时我需要的是2.7.2的eclilpse插件,而github下载过来的hadoop2x-eclipse-plugin配置是hadoop2.6的编译环境,所以执行ant之前需要需要修改ant的build.xml配置文件以及相关文件

第一个文件: hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml

在第83行找到 <target name="jar" depends="compile" unless="skip.contrib">标签,添加和修改copy子标签标签一下内容

也就是127行下面

    <copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar"  todir="${build.dir}/lib" verbose="true"/>

然后找到标签<attribute name="Bundle-ClassPath"在齐总的value的列表中对应的添加和修改lib,如下

 lib/servlet-api-${servlet-api.version}.jar,
 lib/commons-io-${commons-io.version}.jar,
 lib/htrace-core-${htrace.version}-incubating.jar"/>

保存退出.注意如果不修改这个,即便你编译完成jar包,放到eclipse中,配置链接会报错的

但是只是添加和修改这些lib是不行的,hadoop2.6到hadoop2.7中share/home/common/lib/下的jar版本都是有很多不同的,因此还需要修改相应的jar版本..这个耗费了我半天的时间啊.一个个的对号修改.

注意这个版本的环境配置文件在hadoop2x-eclipse-plugin-master跟目录的ivy目录下,也就hihadoop2x-eclipse-plugin-master/ivy/libraries.properties中

最终修改如下所示

技术分享

为了方便大家,我复制过来,#覆盖的就是原来的配置

hadoop.version=2.7.2
hadoop-gpl-compression.version=0.1.0

#These are the versions of our dependencies (in alphabetical order)
apacheant.version=1.7.0
ant-task.version=2.0.10

asm.version=3.2
aspectj.version=1.6.5
aspectj.version=1.6.11

checkstyle.version=4.2

commons-cli.version=1.2
commons-codec.version=1.4
# commons-collections.version=3.2.1
commons-collections.version=3.2.2
commons-configuration.version=1.6
commons-daemon.version=1.0.13
# commons-httpclient.version=3.0.1
commons-httpclient.version=3.1
commons-lang.version=2.6
# commons-logging.version=1.0.4
commons-logging.version=1.1.3
# commons-logging-api.version=1.0.4
commons-logging-api.version=1.1.3
# commons-math.version=2.1
commons-math.version=3.1.1
commons-el.version=1.0
commons-fileupload.version=1.2
# commons-io.version=2.1
commons-io.version=2.4
commons-net.version=3.1
core.version=3.1.1
coreplugin.version=1.3.2

# hsqldb.version=1.8.0.10
# htrace.version=3.0.4
hsqldb.version=2.0.0
htrace.version=3.1.0

ivy.version=2.1.0

jasper.version=5.5.12
jackson.version=1.9.13
#not able to figureout the version of jsp & jsp-api version to get it resolved throught ivy
# but still declared here as we are going to have a local copy from the lib folder
jsp.version=2.1
jsp-api.version=5.5.12
jsp-api-2.1.version=6.1.14
jsp-2.1.version=6.1.14
# jets3t.version=0.6.1
jets3t.version=0.9.0
jetty.version=6.1.26
jetty-util.version=6.1.26
# jersey-core.version=1.8
# jersey-json.version=1.8
# jersey-server.version=1.8
jersey-core.version=1.9
jersey-json.version=1.9
jersey-server.version=1.9
# junit.version=4.5
junit.version=4.11
jdeb.version=0.8
jdiff.version=1.0.9
json.version=1.0

kfs.version=0.1

log4j.version=1.2.17
lucene-core.version=2.3.1

mockito-all.version=1.8.5
jsch.version=0.1.42

oro.version=2.0.8

rats-lib.version=0.5.1

servlet.version=4.0.6
servlet-api.version=2.5
# slf4j-api.version=1.7.5
# slf4j-log4j12.version=1.7.5
slf4j-api.version=1.7.10
slf4j-log4j12.version=1.7.10


wagon-http.version=1.0-beta-2
xmlenc.version=0.52
# xerces.version=1.4.4
xerces.version=2.9.1

protobuf.version=2.5.0
guava.version=11.0.2
netty.version=3.6.2.Final

修改完成后,大工搞成,开始ant

进入src/contrib/eclipse-plugin/执行ant命令,如下

hadoop@hadoop:hadoop2x-eclipse-plugin-master$ cd src/contrib/eclipse-plugin/
hadoop@hadoop:eclipse-plugin$ ls
build.properties  build.xml.bak  ivy.xml      META-INF    resources
build.xml         ivy            makePlus.sh  plugin.xml  src
hadoop@hadoop:eclipse-plugin$ ant jar -Dhadoop.version=2.7.2 -Declipse.home=/home/hadoop/eclipse -Dhadoop.home=/opt/software/hadoop-2.7.2

这个过程第一次会慢点,后来就会很快

当最终显示如下,就表示ant制作成功

compile:
     [echo] contrib: eclipse-plugin
    [javac] /home/hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds

jar:
      [jar] Building jar: /home/hadoop/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.2.jar

BUILD SUCCESSFUL
Total time: 4 seconds
hadoop@hadoop:eclipse-plugin$

然后将自己制作的插件放入到eclipse目录的plugins下

然后重启eclipse或者shell命令行刷新eclipse如下,同时也可以在shell中显示eclipse的运行过程,以及出错后及时发现原因

hadoop@hadoop:eclipse-plugin$ cp /home/hadoop/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.2.jar /home/hadoop/eclipse/plugins/
hadoop@hadoop:eclipse-plugin$ /home/hadoop/eclipse/eclipse -clean

选择自己的workspace,进入eclipse,点击windows选择preferences后,在列表中可以发现多出来一个Hadoop Map/Reduce,选择一个安装目录

技术分享

此时在eclipse的Project Explorer中出现了一个分布式文件系统,点击Windows-->show View,选择MapReduce Tools

技术分享

打开MR Locations窗口,出现了亲切的大象图标,然后选择添加一个M/R配置,并且配置如下

技术分享

当然这里的Location name随便填,然后是Map/Reduce的Master这里要和你自己配置的hadoop集群或者为分布式的core-site.xml和mapred-sitexml文件一一对应,配置错了就会显示链接失败

我的配置如下,所以Host为hadoop(主节点名称),这个也可以写自己的配置主节点的ip地址,端口号分别是9000(文件系统的主机端口号)和9001(Mapreduce的管理节点joptracker主机端口号)

技术分享

然后启动hadoop集群,在shell中简单测试一下然后通过eclipse的DFS Locations进行文件传输测试,以及使用FileSystem接口编程和MapReduce的API编程测试,这里只是为了验证这个插件是否可用,hdfs自己测试一下,很简单,这里测试一个mr程序.电话统计,格式如下,左边是拨打电话,右面是被打电话,统计被打的电话次数排名,并显示拨打者

11500001211 10086
11500001212 10010
15500001213 110
15500001214 120
11500001211 10010
11500001212 10010
15500001213 10086
15500001214 110

代码部分如下

package hdfs;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MR extends Configured implements Tool {
	
	enum Counter{
		LINESKIP,
	}

	public static class WCMapper extends Mapper<LongWritable, Text, Text, Text> {
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			String line = value.toString();
			
			try {
				String[] lineSplit = line.split(" ");
				String anum = lineSplit[0];
				String bnum = lineSplit[1];
				context.write(new Text(bnum), new Text(anum));
			} catch (Exception e) {
				context.getCounter(Counter.LINESKIP).increment(1);//出错计数器+1
				return;
			}
		}
	}

	public static class IntSumReduce extends Reducer<Text, Text, Text, Text> {
		@Override
		protected void reduce(Text key, Iterable<Text> values,Context context)
				throws IOException, InterruptedException {
			
			String valueString;
			String out="";
			for(Text value: values){
				valueString = value.toString();
				out+=valueString+"|";
			}
			
			context.write(key, new Text(out));
		}
	}

	public int run(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] strs = new GenericOptionsParser(conf, args).getRemainingArgs();
		Job job = parseInputAndOutput(this, conf, args);
		
		job.setJarByClass(MR.class);
		FileInputFormat.addInputPath(job, new Path(strs[0]));
		FileOutputFormat.setOutputPath(job, new Path(strs[1]));

		job.setMapperClass(WCMapper.class);
		job.setInputFormatClass(TextInputFormat.class);
		//job.setCombinerClass(IntSumReduce.class);
		job.setReducerClass(IntSumReduce.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		return job.waitForCompletion(true) ? 0 : 1;
	}

	public Job parseInputAndOutput(Tool tool, Configuration conf, String[] args) throws Exception {

		// validate
		if (args.length != 2) {
			System.err.printf("Usage: %s [generic options] <input> <output> \n");
			return null;
		}

		// step 2:create job
		Job job = Job.getInstance(conf, tool.getClass().getSimpleName());
		return job;
	}

	public static void main(String[] args) throws Exception {
		// run map reduce
		int status = ToolRunner.run(new MR(), args);
		// step 5 exit
		System.exit(status);
	}

}

上传文件结构如下

hadoop@hadoop:~$ hdfs dfs -mkdir -p /user/hadoop/mr/wc/input
hadoop@hadoop:~$ hdfs dfs -put top.data /user/hadoop/mr/wc/input

在eclipse中进行运行mr程序

技术分享

执行成功,在eclipse控制台输出执行步骤,查看执行结果

技术分享

说明插件没有任何问题

原文：http://blog.csdn.net/gao634209276/article/details/51362154

内容总结

以上是互联网集市为您收集整理的hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar全部内容，希望文章能够帮你解决hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1060026.html

来源：【匿名】

【上一篇】Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.【下一篇】php能用hadoop吗

更多 ►

【hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar】教程文章相关的互联网学习教程文章

hadoop eclipse工程构建【代码】

安装jdk 步骤1：从oracle的网站上下载jdk，我下的是jdk-6u45-linux-x64.bin，下载完后放到/usr/lib/jvm目录下 $chmod +x /usr/lib/jvm/jdk-6u45-linux-x64.bin $sudo /usr/lib/jvm/jdk-6u45-linux-x64.bin 之后会出现安装信息步骤2：配置jdk，修改/etc/profile文件，在最后添加下面的内容：export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOM...

使用hadoop eclipse plugin提交Job并添加多个第三方jar

来自：http://heipark.iteye.com/blog/1171923 通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotFoundException），跟踪代码发现jar文件的确上传到了HDFS中，所以甚是无解，后来上传jar到 hdfs，然后使用DistributedCache.addFileToClassPath()方法也不行。郁闷半天，后来看到job.xml中有一段奇怪的设置，mapred.j...

编译eclipse hadoop插件【代码】

操作系统：ubuntuhadoop版本:1.0.1eclipse版本:eclipse Helios-SR2直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的，因为少了一些jar包，所以需要手工修改src/contrib/eclipse-plugin目录下的build.xml文件和META-INF/MANIFEST.MF文件。修改build.xml文件这是没修改前的<target name="jar" depends="compile" unless="skip.contrib"> <mkdir dir="${build.dir}/lib"/> <copy file="${hadoop.root}/build/hadoop-...

win7+eclipse配置Hadoop开发环境注意事项【代码】

1、需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME 和 PATH 路径。我的如下： HADOOP_HOME——E:\Hadoop\hadoop-2.4.0 PATH——.;%HADOOP_HOME%\bin;以上两个注意项可以解决运行wordcount报空指针异常的错误。3、需在工程src目录下新建一个log4j.properties文件，不然会有log4j警告提示，如下：log4j:WARN No appenders could be found for logg...

Hadoop2.6.2的Eclipse插件的使用【代码】【图】

欢迎转载，且请注明出处，在文章页面明显位置给出原文连接。本文链接：首先给出eclipse插件的下载地址：http://download.csdn.net/download/zdfjf/94212441.插件的安装插件下载后，放在eclipse安装目录下的plugins文件夹下，然后重启eclipse，就会发现Project Explorer窗口里多出DFS Locations这一项，对应的是HDFS里存放的文件，现在里边还没有显示目录结构，不用着急，第二步配置之后，目录结构就会出现了。我突然想起来博客园上...

Hadoop2.4.0 中Eclipse 平台的搭建【图】

一、Hadoop2.4.0环境下Eclipse平台的搭建1.安装Eclipse 对于hadoop集群，我们将eclipse安装在master节点上，首先下载Eclipse安装包（如：eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压，并把解压后的目录移动到/usr/local路径下，然后启动eclipse:下载网址：http://www.eclipse.org/downloads/?osType=linux&release=undefined 2.在eclipse上安装hadoop插件由于我们使用的是hadoop2.x版本的，所以插件...

使用Eclipse运行Hadoop 2.x MapReduce程序常见问题【图】

1、当我们编写好MapReduce程序，点击Run on Hadoop的时候，Eclipse控制台输出如下内容：这个信息告诉我们没有找到log4j.properties文件。如果没有这个文件，程序运行出错的时候，就没有打印日志，因此我们会很难调试。解决方法：复制$HADOOP_HOME/etc/hadoop/目录下的log4j.properties文件到MapReduce项目 src文件夹下。 2、当执行MapReduce程序的时候，Eclipse可能会报告堆益处的错误。此时，MapReduce程序执行的out目录已...

安装Hadoop系列 — eclipse plugin插件编译安装配置【图】

[一]、环境参数 eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]、安装配置1、复制生成的 hadoop-eclipse-plugin-1.0.3.jar 到 eclipse/plugins 路径下,重启eclipse即可。2、在eclipse菜单依次点击 windows → show view → other… ，选择“Show View”对话框打开，搜索框输入“map”，会找到项“Map/Reduce Locations...

2.1 Hadoop Eclipse Plugin 配置及安装

Hadoop Eclipse 开发工具主要分为1、根据Hadoop版本生成插件 2、安装Hadoop Eclipse插件 3、配置Hadoop目录 4、配置Hadoop连接 5、新一个MapReduce工程 WordCount.javaMapReduce——WordCount问题总结参考：http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html正成功输入出后信息:14/05/21 23:06:47 INFO input.FileInputFormat: Total input paths to process : 214/05/21 23:06:47 WARN util.NativeCodeLoader: Unable to ...

编译hadoop-eclipse-plugins-1.2.1插件步骤

a. 在hadoop解压目录下，找到src\contrib\eclipse-plugin\build.xml，增加如下几行：<filesetdir="${hadoop.root}"> <includename="hadoop*.jar"/></fileset> b. 在build.xml增加如下：<property name="version"value="1.2.1"/> c. 在build.xml，修改如下：<copy file="${hadoop.root}/hadoop-core-${version}.jar"tofile="${build.dir}/lib/hadoop-core.jar"ve...

（亲测）eclipse远程访问hadoop【代码】

1.环境：　hadoop 2.6.0　jdk 1.7x64　centos7 eclipse j2ee 2.安装hadoop　　1.关闭防火墙　　centos7.0以上使用此命令　　systemctl start firewalld.service #临时关闭　　systemctl disable firewalld.service #关闭开机启动　　centos7.0以下使用此命令　　service iptables stop #临时关闭　　chkconfig iptables off #关闭开机启动　　2.修改主机名　　vi /etc/hosts　　去除其他所有的hosts信息，插入下面的hosts10.0.1....

用Eclipse跑Hadoop程序的注意事项

Hadoop程序的MR模式可以提供并行化运行环境，而HDFS是并行化的基础（HDFS毕竟把文件分割了，而local只是存在一台机器上），所以，如何在eclipse上跑程序，让其读取HDFS上的文件，是一个关键。一般来说，你要通过设置configuration来设置目录是hdfs还是local，如果你不设置，默认就是local，此时你如果把hdfs-site.xml放入eclipse建的工程的话，那么，跑的程序就会在HDFS上了，因为那个xml配置了程序默认的运行目录，清楚了如何在HD...

Hadoop on Windows with Eclipse -01- Introduction

IntroductionHadoop is a powerful framework for automatic parallelization of computing tasks. Unfortunately programming for it poses certain challenges. It is really hard to understand and debug Hadoop programs. One way to make it a little easier is to have a simplified version of the Hadoop cluster that runs locally on the developer‘s machine. This tutorial describes how to set up such a cluster ...