Eclipse执行Hadoop WordCount
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Eclipse执行Hadoop WordCount,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1593字,纯文字阅读大概需要3分钟。
内容图文
Eclipse执行Hadoop WordCount
前期工作
我的Eclipse是安装在windows下的,通过Eclipse执行程序连接Hadoop,需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改windows本机ip地址,打开“网络和共享中心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行IpV4属性地址修改即可。我虚拟机地址为192.168.3.137
准备工作
地址配置好之后,在Eclipse上要安装Hadoop的插件(你可以参考源码自行修改)。
打开Eclipse安装路径---\eclipse\plugins,把hadoop-eclipse-plugin-1.1.2.jar放到这个目录下。
windows本机新建目录(本人在E:\hadoopMapReduceDir),从Linux的Hadoop安装包内复制所有jar放到这个目录下备用。
配置工作
打开Eclipse,在菜单栏点击Window,showView选择Other打开选择显示的窗口,如下
在MapReduceTools 目录下找到这只大象,将它拖到Eclipse底部显示(和Console放一块)
点击大象,在下边空白区右击 选择New Hadooplocation(见下图)
打开新建配置窗口,设置连接信息,下图是本机的连接配置名称自己填写,两个端口和username 按图填写(Hadoop默认的端口)
点击Eclipse菜单栏Window ---》Preference,找到HadoopMap/Reduce,点击之后在右侧选择导入Hadoop jar的路径,这样以后新建Hadoop项目,jar包会自动从该路径加载,路径上面已设,添加进来如图:
创建项目
点击File---》other,打开新建对话框,创建Map/ReduceProject项目
创建完成后你会看到jar包自动加载到项目之中
拷贝Linux下的src目录下的example java项目到刚刚创建的工程下,
Linux下启动Hadoop(用JPS检查是否已启动),在Eclipse连接,连接成功后Hadoop目录就会显示如下
修改代码
现在设置方面基本完成,接下来就是针对WordCount.java所做的修改和HDFS路径配置
打开WordCount.java(可能会报错),
将main方法更改如下:
如果GenericOptionsParser报错,将Hadoop-core-1.1.2.jar加到项目中(或放到jar配置路径)。
新建a.txt文件,输入下面内容,保存
在hadoopname下user—》hadoop目录创建input文件夹,将文件a.txt上传到HDFS input上,过程如下(不要创建output目录,不然执行会报错,)
如果HDFS已有,可Linux使用命令hadoop fs -rmr /output删除)
在选择Wordcount.java,右击run as ---》run configurations,打开Arguments填写input out路径(注意:input和output路径中间是有空格的),这里我设置查询input下所有文件的单词出现次数。
右击WordCount.java,run as -àrun on hadoop 执行
执行结束后,刷新DFS Locations/ use/hadoop
自动生成output文件夹,点击可以看到执行结果。最终结果存放在part-r-00000中,双击查看即可
原文:http://blog.csdn.net/qiyuexuelang/article/details/39229773
内容总结
以上是互联网集市为您收集整理的Eclipse执行Hadoop WordCount全部内容,希望文章能够帮你解决Eclipse执行Hadoop WordCount所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。