1.配置hadoop环境变量,本文已hadoop版本2.5.2为例。下载hadoop2.5.2后解压,配置环境变量如下: 2.安装eclipse插件在hadoop1的较早版本中提供了该插件,hadoop2中未提供该插件,需要到github中自己下载。此处使用:hadoop-eclipse-plugin-2.5.2.jar。将hadoop-eclipse-plugin-2.5.2.jar复制到eclipse的dropins目录下解压后重启eclipse: 3.配置hadoop插件将Hadoop installation directory设置为hadoop的根目录 原文:http://www.c...
一、准备运行所需Jar包1)avro-1.7.4.jar2)commons-cli-1.2.jar3)commons-codec-1.4.jar4)commons-collections-3.2.1.jar5)commons-compress-1.4.1.jar6)commons-configuration-1.6.jar7)commons-io-2.4.jar8)commons-lang-2.6.jar9)commons-logging-1.2.jar10)commons-math3-3.1.1.jar11)commons-net-3.1.jar12)curator-client-2.7.1.jar13)curator-recipes-2.7.1.jar14)gson-2.2.4.jar15)guava-20.0.jar16)hadoop...
2015-3-27参考:http://www.cnblogs.com/baixl/p/4154429.htmlhttp://blog.csdn.net/u010911997/article/details/44099165============================================hadoop在虚拟机上(远程连接也是一样只需要知道master的ip和core-site.xml配置即可。Vmware上搭建了hadoop分布式平台:192.168.47.133 master192.168.47.134 slave1192.168.47.135 slave2 core-site.xml 配置文件:<property><name>fs.defaultFS</name><value>h...
准备工作
先在win系统的hosts文件里添加以下内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar,将其拷贝到eclipse 安装目录下的plugins,再启动eclispe,这时在eclipse的File/New/other下会看到一下的内容,证明插件安装成功
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所示的窗口,点击右侧的紫色小象
会弹出下图所示的...
在我们hadoop编程中,经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Source not found。遇到这个问题,该如何解决。因为我们已经引入了包,为什么会找不到。如果不了解怎么引入的可以参考:hadoop开发方式总结及操作指导http://www.aboutyun.com/thread-6950-1-1.html看到上面现象,是因为我们每天添加.zip。该如何添加zip包。那么我们从哪去找zip包。(1)解压hadoop-2.7.3-src.tar.gz得到文件夹hadoop-2...
一、解压hadoop src包到workspace目录二、File->Import->Existing Maven Projects,在Root Directory处选择解压好的目录,Finish三、等待maven把依赖包下载好后,会出现一些问题,下面是重头戏。四、maven问题解决(1)若发现maven依赖包找不见,找到位置后删除jar包目录,然后右击工程,Alt+F5,确认后会自动下载。不要手动下载第三方包,可能不识别(2)报 maven-resources-plugin prior to 2.4 is not supported by m2e,Windio...
问题导读:1.官网src包下载包,能否直接使用?2.如何跟踪和查看hadoop源码?此篇是从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码基础上的一个继续,上文其实已经把源代码下载下来了。下载之后,我们如何查看源码代码。我们还是通过eclipse的导入功能,这里简略描述一下,详细可以查看零基础教你如何导入Java项目到eclipse中。1.导入查看hadoop源码(1)选择Existing Projects into Workspace<ignore_js_op> (2)选...
(一),安装eclipse 1,下载eclipse,点这里 2,将文件上传到Centos7,可以用WinSCP 3,解压并安装eclipse [root@Master opt]# tar zxvf ‘/home/s/eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz‘ -C/opt ---------------> 建立文件:[root@Master opt]# mkdir /usr/bin/eclipse ------------------》添加链接,即快捷方式:[root@Master opt]# ln -s /opt/eclipse/eclipse /usr/bin/eclipse ...
安装jdk 步骤1: 从oracle的网站上下载jdk,我下的是jdk-6u45-linux-x64.bin,下载完后放到/usr/lib/jvm目录下 $chmod +x /usr/lib/jvm/jdk-6u45-linux-x64.bin $sudo /usr/lib/jvm/jdk-6u45-linux-x64.bin 之后会出现安装信息 步骤2:配置jdk,修改/etc/profile文件,在最后添加下面的内容:export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOM...
来自:http://heipark.iteye.com/blog/1171923 通过 "conf.set("tmpjars", jars);" 可以设置第三方jar,之前一直只是添加一个jar,运行OK,今天打算添加多个jar的时候发现mapreduce在运行时找不到 class(ClassNotFoundException),跟踪代码发现jar文件的确上传到了HDFS中,所以甚是无解,后来上传jar到 hdfs,然后使用DistributedCache.addFileToClassPath()方法也不行。郁闷半天,后来看到job.xml中有一段 奇怪的设置,mapred.j...
操作系统:ubuntuhadoop版本:1.0.1eclipse版本:eclipse Helios-SR2直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的,因为少了一些jar包,所以需要手工修改src/contrib/eclipse-plugin目录下的build.xml文件和META-INF/MANIFEST.MF文件。修改build.xml文件这是没修改前的<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/build/hadoop-...
1、需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下,我的是:E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME 和 PATH 路径。我的如下: HADOOP_HOME——E:\Hadoop\hadoop-2.4.0 PATH——.;%HADOOP_HOME%\bin;以上两个注意项可以解决运行wordcount报空指针异常的错误。3、需在工程src目录下新建一个log4j.properties文件,不然会有log4j警告提示,如下:log4j:WARN No appenders could be found for logg...
欢迎转载,且请注明出处,在文章页面明显位置给出原文连接。本文链接:首先给出eclipse插件的下载地址:http://download.csdn.net/download/zdfjf/94212441.插件的安装插件下载后,放在eclipse安装目录下的plugins文件夹下,然后重启eclipse,就会发现Project Explorer窗口里多出DFS Locations这一项,对应的是HDFS里存放的文件,现在里边还没有显示目录结构,不用着急,第二步配置之后,目录结构就会出现了。 我突然想起来博客园上...
一、Hadoop2.4.0环境下Eclipse平台的搭建1.安装Eclipse 对于hadoop集群,我们将eclipse安装在master节点上,首先下载Eclipse安装包(如:eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压,并把解压后的目录移动到/usr/local路径下,然后启动eclipse:下载网址:http://www.eclipse.org/downloads/?osType=linux&release=undefined 2.在eclipse上安装hadoop插件 由于我们使用的是hadoop2.x版本的,所以插件...
1、 当我们编写好MapReduce程序,点击Run on Hadoop的时候,Eclipse控制台输出如下内容: 这个信息告诉我们没有找到log4j.properties文件。如果没有这个文件,程序运行出错的时候,就没有打印日志,因此我们会很难调试。 解决方法:复制$HADOOP_HOME/etc/hadoop/目录下的log4j.properties文件到MapReduce项目 src文件夹下。 2、当执行MapReduce程序的时候,Eclipse可能会报告堆益处的错误。 此时,MapReduce程序执行的out目录已...