开篇：Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为了降低Hadoop的难度，开发出了Hadoop Eclipse插件，它可以直接嵌入到Hadoop开发环境中，从而实现了开发环境的图形界面化，降低了编程的难度。一、天降神器插件-Hadoop Eclipse Hadoop Ecl...
Eclipse执行Hadoop WordCount前期工作 我的Eclipse是安装在windows下的，通过Eclipse执行程序连接Hadoop，需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改windows本机ip地址，打开“网络和共享中心“，点击左侧菜单”更改适配器设置“，选择相应连接网络进行IpV4属性地址修改即可。我虚拟机地址为192.168.3.137准备工作 地址配置好之后，在Eclipse上要安装Hadoop的插件（你...
历程是艰辛，无脑的苦力活~首先我的平台是搭建在cenos7虚拟机上的，使用hadoop2.6，部署计划：主机角色namenode1:192.168.80.101namenode,resourcemanagerdatanode1:192.168.80.102datanode,nodemanagerdatanode2:192.168.80.103datanode,nodemanager0.需要 hadoop2.6 ，jdk1.7，hadoop-eclipse-plugin-2.6.0.jar，出错时候用的一些文件1.关于虚拟机的网络设置，使用nat模式：文件/etc/sysconfig/network-scripts/ifcfg-eno*lo网卡...
在Windows的eclipse上写hdfs的API程序，都会遇到两个错误，在网上查了很多资料，都没有解决的办法，经过了很多时间的研究，终于把这个问题解决了错误是 1.java.io.IOException :HADOOP_HOME or hadoop.home.dir are not set. 2.java.io.IOException:could not locate executable D:\hadoop-2.6.4\hadoop-2.6.4\bin/winutils.exe in the Hadoop binaries.，先来讲安装，安装完后再测试，那才是重点部分，因为错误就会...
前一篇博文我们搭建了好了运行环境，这篇小文我们开始搭建开发调试环境。这才是真正的精华，是无数血泪铸就的！4、eclipse，又见eclipse这个我想只要是做java的没有不熟悉，因此我就不再多说了，一切向http://www.eclipse.org索取。注意，这里的eclipse环境安装在虚拟机中哦，别装错地方了！5、安装maven环境去maven.apache.org上下载maven3，解压到/home（因为/home一般是数据盘，装在这里不占系统盘的空间）。配置~/.bash_profil...
1.配置hadoop环境变量，本文已hadoop版本2.5.2为例。下载hadoop2.5.2后解压，配置环境变量如下： 2.安装eclipse插件在hadoop1的较早版本中提供了该插件，hadoop2中未提供该插件，需要到github中自己下载。此处使用：hadoop-eclipse-plugin-2.5.2.jar。将hadoop-eclipse-plugin-2.5.2.jar复制到eclipse的dropins目录下解压后重启eclipse： 3.配置hadoop插件将Hadoop installation directory设置为hadoop的根目录 原文：http://www.c...
一、准备运行所需Jar包1）avro-1.7.4.jar2）commons-cli-1.2.jar3）commons-codec-1.4.jar4）commons-collections-3.2.1.jar5）commons-compress-1.4.1.jar6）commons-configuration-1.6.jar7）commons-io-2.4.jar8）commons-lang-2.6.jar9）commons-logging-1.2.jar10）commons-math3-3.1.1.jar11）commons-net-3.1.jar12）curator-client-2.7.1.jar13）curator-recipes-2.7.1.jar14）gson-2.2.4.jar15）guava-20.0.jar16）hadoop...
2015-3-27参考：http://www.cnblogs.com/baixl/p/4154429.htmlhttp://blog.csdn.net/u010911997/article/details/44099165============================================hadoop在虚拟机上（远程连接也是一样只需要知道master的ip和core-site.xml配置即可。Vmware上搭建了hadoop分布式平台：192.168.47.133 master192.168.47.134 slave1192.168.47.135 slave2 core-site.xml 配置文件：<property><name>fs.defaultFS</name><value>h...
准备工作 先在win系统的hosts文件里添加以下内容 10.61.6.164master //hadoop集群的master节点 一、首先在eclipse上安装hadoop插件 下载hadoop-eclipse-plugin-1.1.2.jar，将其拷贝到eclipse 安装目录下的plugins，再启动eclispe，这时在eclipse的File/New/other下会看到一下的内容，证明插件安装成功 二、在Window/show view/other里打开Map/Reduce Locations 打开后会有下图所示的窗口，点击右侧的紫色小象 会弹出下图所示的...
在我们hadoop编程中，经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Source not found。遇到这个问题，该如何解决。因为我们已经引入了包，为什么会找不到。如果不了解怎么引入的可以参考：hadoop开发方式总结及操作指导http://www.aboutyun.com/thread-6950-1-1.html看到上面现象，是因为我们每天添加.zip。该如何添加zip包。那么我们从哪去找zip包。（1）解压hadoop-2.7.3-src.tar.gz得到文件夹hadoop-2...
一、解压hadoop src包到workspace目录二、File->Import->Existing Maven Projects，在Root Directory处选择解压好的目录，Finish三、等待maven把依赖包下载好后，会出现一些问题，下面是重头戏。四、maven问题解决（1）若发现maven依赖包找不见，找到位置后删除jar包目录，然后右击工程，Alt+F5，确认后会自动下载。不要手动下载第三方包，可能不识别（2）报 maven-resources-plugin prior to 2.4 is not supported by m2e，Windio...
问题导读：1.官网src包下载包，能否直接使用？2.如何跟踪和查看hadoop源码？此篇是从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码基础上的一个继续，上文其实已经把源代码下载下来了。下载之后，我们如何查看源码代码。我们还是通过eclipse的导入功能，这里简略描述一下，详细可以查看零基础教你如何导入Java项目到eclipse中。1.导入查看hadoop源码（1）选择Existing Projects into Workspace<ignore_js_op> （2）选...
(一)，安装eclipse 1，下载eclipse，点这里 2，将文件上传到Centos7,可以用WinSCP 3，解压并安装eclipse [root@Master opt]# tar zxvf ‘/home/s/eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz‘ -C/opt ---------------> 建立文件：[root@Master opt]# mkdir /usr/bin/eclipse ------------------》添加链接，即快捷方式：[root@Master opt]# ln -s /opt/eclipse/eclipse /usr/bin/eclipse ...
安装jdk 步骤1： 从oracle的网站上下载jdk，我下的是jdk-6u45-linux-x64.bin，下载完后放到/usr/lib/jvm目录下 $chmod +x /usr/lib/jvm/jdk-6u45-linux-x64.bin $sudo /usr/lib/jvm/jdk-6u45-linux-x64.bin 之后会出现安装信息 步骤2：配置jdk，修改/etc/profile文件，在最后添加下面的内容：export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOM...
来自：http://heipark.iteye.com/blog/1171923 通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotFoundException），跟踪代码发现jar文件的确上传到了HDFS中，所以甚是无解，后来上传jar到 hdfs，然后使用DistributedCache.addFileToClassPath()方法也不行。郁闷半天，后来看到job.xml中有一段 奇怪的设置，mapred.j...