首页 / 虚拟机 / Centos6.X虚拟机配置Hadoop2.6的步骤

Centos6.X虚拟机配置Hadoop2.6的步骤

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Centos6.X虚拟机配置Hadoop2.6的步骤，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7686字，纯文字阅读大概需要11分钟。

内容图文

通过xmanager的Xftp上传hadoop-2.6.4.tar.gz文件到/opt目录

解压缩hadoop-2.6.4.tar.gz 文件
tar -zxf hadoop-2.6.4.tar.gz -C /usr/local

解压后即可，看到/usr/local/hadoop-2.6.4文件夹

配置Hadoop

进入目录：
cd /usr/local/hadoop-2.6.4/etc/hadoop/
依次修改下面的文件：
4.1 core-site.xml（在底部Configuration标签内添加以下Configuration标签内的内容，其他文件也是）
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop/tmp</value>
</property>
</configuration>

4.2 hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_80

4.3 hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

4.4 mapred-site.xml
复制cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

4.5 yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/hadoop/yarn/local</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/data/tmp/logs</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>value&gt' title='http://master:19888/jobhistory/logs/

4.6 yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_80

4.7 slaves
删除localhost，添加：
slave1
slave2
slave3

4.8 设置IP映射
编辑各节点/etc/hosts
添加：
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com

4.9 克隆虚拟机，如果在配置前已提前克隆，则需拷贝hadoop安装文件到集群slave节点
scp -r /usr/local/hadoop-2.6.4 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.4 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.4 slave3:/usr/local

5.配置SSH无密码登录
（1）使用ssh-keygen产生公钥与私钥对。
输入命令“ssh-keygen -t rsa”，接着按三次Enter键

[root@master ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory ‘/root/.ssh‘.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
a6:13:5a:7b:54:eb:77:58:bd:56:ef:d0:64:90:66:d4 root@master.centos.com
The key‘s randomart image is:
+--[ RSA 2048]----+
| .. |
| . .E|
| . = |
| . . o o |
| o S . . =|
| o * . o ++|
| . + . . o ooo|
| o . ..o |
| .|
+-----------------+

生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。
（2）用ssh-copy-id将公钥复制到远程机器中
ssh-copy-id -i /root/.ssh/id_rsa.pub master//依次输入yes,123456（root用户的密码）
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
ssh-copy-id -i /root/.ssh/id_rsa.pub slave3
（3）验证是否设置无密码登录
依次输入
ssh slave1
ssh slave2
ssh slave3

6.配置时间同步服务
（1）安装NTP服务。在各节点：
yum -y install ntp
（2）设置master节点为NTP服务主节点，
使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加:
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）在所有slave节点中配置NTP，同样修改/etc/ntp.conf文件，注释掉server开头的行，并添加:
server master

（4）执行命令“service iptables stop & chkconfig iptables off”永久性关闭防火墙，主节点和从节点都要关闭。
（5）启动NTP服务。
① 在master节点执行命令“service ntpd start & chkconfig ntpd on”
② 在slave1、slave2、slave3上执行命令“ntpdate master”即可同步时间
③ 在slave1、slave2、slave3上分别执行“service ntpd start & chkconfig ntpd on”即可启动并永久启动NTP服务。

7.在/etc/profile添加JAVA_HOME和Hadoop路径
export HADOOP_HOME=/usr/local/hadoop-2.6.4
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin

source /etc/profile使修改生效

格式化NameNode
进入目录
cd /usr/local/hadoop-2.6.4/bin

执行格式化
./hdfs namenode -format

9.启动集群
进入目录
cd /usr/local/hadoop-2.6.4/sbin
执行启动：
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

使用jps，查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

关闭防火墙（在所有节点执行）：
service iptables stop
chkconfig iptables off

11.在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com

浏览器查看：

http://master:50070
http://master:8088

原文：https://blog.51cto.com/14850283/2601411

内容总结

以上是互联网集市为您收集整理的Centos6.X虚拟机配置Hadoop2.6的步骤全部内容，希望文章能够帮你解决Centos6.X虚拟机配置Hadoop2.6的步骤所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1321956.html

来源：【匿名】

【下一篇】使用虚拟机安装CentOS7并搭建LAMP服务器环境详细讲解

更多 ►

【Centos6.X虚拟机配置Hadoop2.6的步骤】教程文章相关的互联网学习教程文章

Centos6.X虚拟机配置Hadoop2.6的步骤

通过xmanager的Xftp上传hadoop-2.6.4.tar.gz文件到/opt目录解压缩hadoop-2.6.4.tar.gz 文件tar -zxf hadoop-2.6.4.tar.gz -C /usr/local解压后即可，看到/usr/local/hadoop-2.6.4文件夹配置Hadoop进入目录：cd /usr/local/hadoop-2.6.4/etc/hadoop/依次修改下面的文件：4.1 core-site.xml（在底部Configuration标签内添加以下Configuration标签内的内容，其他文件也是）<configuration><property><name>fs.defaultFS</name> <valu...

虚拟机中在centos6.7环境下安装eclipse

采用的是在线安装的方式，所以省去了很多配置环境变量的步骤，经过以下5步。1， yum install eclipse2，安装xmanager -> windows下远程eclipse可视化工具3，配置putty，SSH -> X11 -> Enable X11 forwarding4， yum install eclipse-cdt -> 安装eclipse的C++工程插件5，启动eclipse，-> 可以创建C/C++/Java工程原文：http://www.cnblogs.com/vincentfu/p/5406117.html

(2)在VMware虚拟机上装CentOS6_Linux系统【图】

系统分区与格式化一、磁盘分区：磁盘分区是使用分区编辑器（partition editor）在磁盘上划分几个逻辑部分。碟片一旦划分成数个分区（partition），不同类的目录与文件可以存储进不同的分区。二、分区类型：主分区：最多只能有4个扩展分区：最多只能有1个。主分区加扩展分区最多有4个。不能写入数据，只能包括逻辑分区。逻辑分区三、格式化：格式化（高级格式化）又称逻辑格式化，它是指根据用户选定的文件系统（FAT16,FAT32,NTFS,E...

VMware虚拟机上安装CentOS6.9的安装图解【图】

hi 各位好，以下内容分享给不会安装CentOS6.9的朋友们~~~ 第一步打开VWware，点击创建新的虚拟机第二步选典型安装第三步选择稍后安装程序第四步选择Linux（L）版本选择CentOS6 64位第五步选择安装位置（最好不放在C盘）及虚拟机名称第六步选择将虚拟磁盘存储为单个文件第七步如图第八步第九步原文：http://blog.51cto.com/13886172/2151908

基于虚拟机的centos6.5 搭建本地光盘yum源【图】

在线yum安装必须要保持服务器能够连入网络并且他下载的还会比较慢因为地址大部分多是国外的下载站。另外yum在线下载的都是比较新的软件包，可能不是很稳定，那么使用yum的本地资源就是光盘里的RPM包，让本地光盘作为yum源，这种源的版本可能不是最新的但是相对比较稳定，这种方式一般在工作中比常用。下面就来介绍下光盘yum源安装。第一步：虚拟机以vmwareworkstations 为例安装centos6.5虚拟机并设置连接镜像1 第二步：挂载光盘...

虚拟机VMware下CentOS6.6安装教程图文详解【图】

分享下，虚拟机VMware下CentOS6.6安装教程图文详解。CentOS 6.6 发布下载地址： http://www.linuxidc.com/Linux/2014-10/108554.htm1、首先要下载一个centos的iso镜像,我是用虚拟机VMware来安装的,用VMware最好创建一个空白硬盘.2.创建完毕再设置里面挂载iso的centos系统文件.3.进入到这个页面:说明:1.install or upgrade an existing system安装或升级现有系统2.install system with basic video drive安装过程中采用基本的显卡驱...

vmware中给虚拟机配置固定IP（centos6.4为例）【图】

1，首先配置vmware，如下图：2，保存好vmware配置之后重启虚拟机，来配置centos系统这里总共需要三个文件：/etc/sysconfig/network/etc/sysconfig/network-scripts/ifcfg-eth0 （这个可能不存在，只需要自己建立一个就好）/etc/resolv.conf2.1，vim /etc/sysconfig/network 如图：2.2 vim /etc/sysconfig/network-scripts/ifcfg-eth0 如图：2.3 vim /etc/resolv.conf 如图：3，重启网络服务至此，OK！原文：http://my.o...

本站点头文件本人代码由centos6.5虚拟机运行【代码】

wz.h ////////////////////////// #define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<stdlib.h> #include<assert.h> #include<errno.h> #include<string.h> #include<time.h> #include <time.h> #include <stdarg.h> ///////////////////// sts.h ////////////////////#include<iostream> #include<iomanip> using namespace std;原文：http://wzsts.blog.51cto.com/10251779/1749697

VMware虚拟机安装CentOS6.5【图】

偷懒了太久，再不能以没时间为借口不写博啦。2016，Go!　　工具：VMware 11.0　　系统：CentOS6.5 　　1、选择“新建虚拟机”　　2、选择“自定义”，“下一步”　　3、选择“下一步”　　4、选择“稍后安装操作系统”，“下一步”　　5、选择Linux版本，“下一步”　　6、选择“名称”和“安装位置”，"下一步"　　7、处理器设置，默认，“下一步”　　8、内存，默认，“下一步”　　8、网络类型，这里我选择“桥接”，“下一步”...

Centos6.6 网络配置以及虚拟机与本机Ping通办法

DEVICE=eth0HWADDR=00:0C:29:17:47:9ATYPE=EthernetUUID=省略ONBOOT=yes //centos6.x版本默认为no,以5.x版本默认为yes不同，必须将no改为yesNM_CONTROLLED=yesBOOTPROTO=static //动态地址=dhcp,静态地址=static,none值一般不采用IPADDR=192.168.1.45NETMASK=255.255.255.0GATEWAY=192.168.1.1DNS1=114.114.114.114DNS2=8.8.4.4IPV6INIT=no //不使用IPV6INIT------------------------------------------------------------------...

centos6安装创建kvm虚拟机

注：此方法为纯命令行安装kvm和虚拟机，没有任何图形化。(1)cpu支持虚拟化（2）64位（3）内存2G以上CRT远程宿主机，先连接好宿主机网络（1）安装软件 yum install -y kvm virt-* libvirt bridge-utils qemu-img /etc/init.d libvirtd start（2）设置桥接网络[root@xuegod63 network-scripts]# vim ifcfg-eth0DEVICE=eth0NM_CONTROLLED=yesONBOOT=yesTYPE=EthernetBOOTPROTO=none IPV6INIT=noUSERCTL=noPREFIX=24DEFROUTE=ye...

2016-11-10:win7下VMware虚拟机中CentOS6.5网络配置【代码】【图】

在win7环境下，使用桥接和NAT模式配置VMware虚拟机网络，实现宿主机与虚拟机以及虚拟机通过宿主机网卡访问互联网。1 配置VMware虚拟网络编辑器VMnet0 桥接模式VMnet1仅主机模式VMnet8桥接模式，其中子网IP配置自己希望的网段，并点击“NAT设置”设置网关IP上述设置完毕后，在宿主机win7的网络适配器中看到如下网卡信息以及IP地址信息为了使虚拟机可以通过宿主机网卡访问互联网，将本地连接共享开启2 VMware添加网卡设备添加使用NAT...

Centos6.5系统安装kvm虚拟机之克隆、拷贝文件安装新虚拟机【代码】【图】

Centos 6.5 x86_64系统安装kvm虚拟机—克隆、拷贝xml文件安装新虚拟机一、通过模板虚拟机克隆新虚拟机IP规划：宿主机：10.0.1.149模板虚拟机：10.0.1.228克隆虚拟机：10.0.1.100关闭或者暂停模板虚拟机，再进行克隆安装新虚拟机。[root@taokey ~]# virt-clone -o kvm_mode_5566 -n mysql-server -f /data/kvmdisk/mysql-server.qcow2 ERROR Domain with devices to clone must be paused or shutoff.报错原因：由于没有关闭模板...

CentOS6.x中vmware workstation 虚拟机启动报错：Could not open /dev/vmmon

最初安装报错，但是界面可以打开，可以正常安装，但是安装过后，启动报错Gtk-Message: Failed to load module "canberra-gtk-module": libcanberra-gtk-module.so:cannot open shared object file: No such file or directory Gtk-Message: Failed to load module "pk-gtk-module": libpk-gtk-module.so: cannot open shared object file: No such file or directory 忽略，因为安装界面可以打开，就继续安装，直至安装完成，配置一...

Virtualbox 虚拟机 Centos6.4无线上网设置【图】

1.使用cmd—>ipconfig查看自己的无线网卡设置2.设置虚拟机的网络配置（桥接网卡，网卡选择本机的无线网卡）3.设置虚拟机的ip注意设置的ip地址要与无线网卡的ip地址在同一网段内4.设置完成后要重启网络service network restart测试：ping www.baidu.com 原文：http://www.cnblogs.com/lzxl/p/4288414.html

虚拟机 - 最热教程

VMWare虚拟机提示：锁定文件失败，打不...win10系统利用FileZilla向虚拟机（Ubun...VMware中Linux虚拟机挂载主机共享文件夹...虚拟机下Linux安装好Nginx后，宿主机无...Fedora-WorkStation-Live-33 虚拟机配置...虚拟机搭建nginx+keeliaved高可用 nginx虚拟机配置深入理解Java虚拟机——垃圾收集器与内...VMware 虚拟机配置双网卡实现内外网正向...详解--Scrt怎么与VM虚拟机中CentOS 7.6...

首页 / 虚拟机 / Centos6.X虚拟机配置Hadoop2.6的步骤

Centos6.X虚拟机配置Hadoop2.6的步骤

内容导读

内容图文

内容总结

内容备注

内容手机端

【Centos6.X虚拟机配置Hadoop2.6的步骤】教程文章相关的互联网学习教程文章

Centos6.X虚拟机配置Hadoop2.6的步骤

虚拟机中在centos6.7环境下安装eclipse

(2)在VMware虚拟机上装CentOS6_Linux系统【图】

VMware虚拟机上安装CentOS6.9的安装图解【图】

基于虚拟机的centos6.5 搭建本地光盘yum源【图】

虚拟机VMware下CentOS6.6安装教程图文详解【图】

vmware中给虚拟机配置固定IP（centos6.4为例）【图】

本站点头文件本人代码由centos6.5虚拟机运行【代码】

VMware虚拟机安装CentOS6.5【图】

Centos6.6 网络配置以及虚拟机与本机Ping通办法

centos6安装创建kvm虚拟机

2016-11-10:win7下VMware虚拟机中CentOS6.5网络配置【代码】【图】

Centos6.5系统安装kvm虚拟机之克隆、拷贝文件安装新虚拟机【代码】【图】

CentOS6.x中vmware workstation 虚拟机启动报错：Could not open /dev/vmmon

Virtualbox 虚拟机 Centos6.4无线上网设置【图】

HADOOP - 相关标签

虚拟机 - 相关标签

虚拟机 - 最新教程

虚拟机 - 最热教程