windows部署hadoop-2.7.0
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了windows部署hadoop-2.7.0,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2843字,纯文字阅读大概需要5分钟。
内容图文
这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cygwin,也无需开启ssh免密登录这些类linux的复杂流程。直接就可以sbin/start-all.cmd,开启了四个服务。
第一步、准备hadoop-2.7.0,其实就是自己编译,这里不介绍,可以直接在网上找已经编译好的windows版本。这里将我自己编译的放在github上。编译过的hadoop与一般下载的hadoop的区别在于bin目录,如果是windows,那么会有很多dll,lib等文件。主要的还是需要libwinutils.lib,winutils.exe这些文件。
第二步、既然能编译hadoop-2.7.0,那么本地环境肯定是有了jdk了,这里不介绍环境了,很简单,只需要jdk,一个编译好的hadoop-2.7.0,设置etc/hadoop/hadoop-env.cmd中的JAVA_HOME环境变量。这里需要注意,如果环境变量路径中有Program Files,需要修改为PROGRA~1,如下所示:
另外需要将hadoop目录作为环境变量HADOOP_HOME加入系统中,并将%HADOOP_HOME%\bin加入到Path环境变量中。
接着就可以验证hadoop版本信息了:
第三步、修改配置core-site.xml,hdfs-site.xml,mapred-site.xml(默认是mapred-site.xml.template,重命名一下),yarn-site.xml
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/software/hadoop-2.7.0/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/software/hadoop-2.7.0/datanode</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
将配置文件中提到的目录datanode,namenode创建一下,另外创建一个tmp文件夹。
第四步、格式化数据 :hadoop namenode -format
第五步、启动hadoop-dfs和hadoop-yarn服务,直接运行sbin\start-all.cmd
这里会分别启动四个窗口,包含了namenode,datanode,resourcemanager,nodemanager服务。
namenode console
datanode console
resourcemanager console
nodemanager console
服务启动了,没有异常,可以进行进一步的验证。
jps查看服务
hdfs验证
mapreduce验证 :运行hadoop自带的示例 wordcount
hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.0.jar wordcount /user/hadoop/input \
/user/hadoop/output
查看wordcount运行结果:
webui界面就不展示了,至此,windows上部署hadoop就演示完成了。重点是需要一个编译好的hadoop。
内容总结
以上是互联网集市为您收集整理的windows部署hadoop-2.7.0全部内容,希望文章能够帮你解决windows部署hadoop-2.7.0所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。