hadoop2.6虚拟机搭建和应用到win平台下eclipse开发
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了hadoop2.6虚拟机搭建和应用到win平台下eclipse开发，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4570字，纯文字阅读大概需要7分钟。
内容图文
历程是艰辛，无脑的苦力活~
首先我的平台是搭建在cenos7虚拟机上的，使用hadoop2.6，部署计划：
| 主机 | 角色 |
| namenode1:192.168.80.101 | namenode,resourcemanager |
| datanode1:192.168.80.102 | datanode,nodemanager |
| datanode2:192.168.80.103 | datanode,nodemanager |
0.需要 hadoop2.6 ，jdk1.7，hadoop-eclipse-plugin-2.6.0.jar，出错时候用的一些文件
1.关于虚拟机的网络设置，使用nat模式：文件/etc/sysconfig/network-scripts/ifcfg-eno*
lo网卡设置关掉，把 ONBOOT=yes 改成 no即可
TYPE=Ethernet
HWADDR=00:0C:29:9E:66:9c
#BOOTPROTO=dhcp
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=98f69bcb-c555-40a4-ac50-d6cf6a2fab73
DEVICE=eno16777736
#ONBOOT=no
ONBOOT=yes
IPADDR0=192.168.80.101
PREFIX0=24
GATEWAY0=192.168.80.1
sudo service network restart
2.关于SSH免密登录，可参考其他资料，或上一个随笔。其实免密登录不是搭建hadoop平台必须的，只是可以方便开启结点
3.jdk的配置也很简单，解压后，写入配置文件路径 sudo vi /etc/profile
(export JAVA_HOME=
export PATH=$PATH:$JAVA_HOME)
更新 source vi /etc/profile
成功后，在命令台输入 java运行成功即可。
4. 配置hadoop
4.1把hadoop路径写入系统文件
4.2改配置文件 hadoop_home\etc\hadoop\core-site.xml
关于缓存文件的dir需要事先创建出来，
要记好 这里的hdfs端口号，
<
property
>
<
name
>fs.defaultFS</name><value>hdfs://namenode1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/boy/hadoop/hadoop-2.6.0/tem</value></property><property>
<name>hadoop.proxyuser.root.hosts</name>
<value>namenode1</value></property><property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value></property>
前提：在所有机器上主机和网址的映射都有，文件 /etc/hosts
127.0.0.1 localhost www # localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.80.101 namenode1
192.168.80.102 datanode1
192.168.80.103 datanode2
配置文件 应该根据自己的平台做相应变化，关于解释，请查阅其他的。网上有很多资料
4.3配置文件 hdfs-site.xml
<
property
>
<
name
>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.name.dir</name><value>/home/boy/hadoop/hadoop-2.6.0/tem/name1</value> #hadoop的name目录路径
<description></description></property><property><name>dfs.data.dir</name><value>/home/boy/hadoop/hadoop-2.6.0/tem/data1</value><description></description></property>
dfs.replication：数据副本个数，在该集群中是有两个数据节点，默认是3个，个数不能多于数据节点个数
dfs.permissions：是否验证访问者权限
后面两个是数据文件存放的位置，可以不用事先创建
4.4yarn-site.xml
这里的 resourcemanager端口号 8032也很重要，后面eclipse会用到
端口8088是hadoop marreduce的web访问端口
<
property
>
<
name
>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>namenode1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>namenode1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>namenode1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>namenode1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>namenode1:8088</value></property>
4.5mapred-sit.xml
<
property
>
<
name
>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobtracker.http.address</name><value>namenode1:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>namenode1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>namenode1:19888</value></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/tmp</value></property><property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value></property>
4.6 修改hadoop-env.sh文件 中的java_home，为机器的java_home
4.7到这里配置完成，把所有配置文件发送或拷贝到其他主机，一定要一样，不一样的话 mast节点会报错，或者数据节点会启动不起来，但是如果是数据节点报错，报错信息可以通过控制台看到日志文件的位置，可以查看异常。
原文：http://www.cnblogs.com/dasheng-maritime/p/5401858.html
内容总结
以上是互联网集市为您收集整理的hadoop2.6虚拟机搭建和应用到win平台下eclipse开发全部内容，希望文章能够帮你解决hadoop2.6虚拟机搭建和应用到win平台下eclipse开发所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。