Hadoop1.0之集群搭建

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop1.0之集群搭建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含11400字，纯文字阅读大概需要17分钟。

内容图文

VirtualBox虚拟机

下载地址

下载择操作系统对应的基础安装包
下载扩展包（不区分操作系统）

http://www.oracle.com/technetwork/cn/server-storage/virtualbox/downloads/index.html

安装基础包

按照提示安装即可

扩展包安装

1 先安装基础包

2 安装扩展包

打开虚拟机 -> 管理 -> 全局设定 -> 扩展 -> 点击右边的加号 -> 选择下载的扩展包文件，按照提示安装即可

VBox安装CentOS7

下载minimalISO

http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

从镜像列表里选择离自己近的镜像下载，我选择的是网易163源

虚拟机配置规划

CPU 2核，内存 1G，SWAP：2G，硬盘 40G（动态增长，非预先分配固定模式）

创建虚拟机

新建 -> 按照提示操作即可

安装CentOS7操作系统

创建包含操作系统iso文件的光盘

选中刚才创建的虚拟机 -> 设置 -> 存储 -> 点击+号，然后选择CentOS7 ISO文件

安装操作系统

启动虚拟机，会显示图形化安装界面，按照提示操作即可，会提示一系列的设置，硬盘分区我选择的自动分区。
各种设置都完成后，点击安装，等待一段时间，安装需要一些时间，我的机器上，大概等了十几分钟:)

配置虚拟机网络

最好选择NAT网络模式

安装依赖的包

因为是安装的是最小化ISO，有些基础的包都没有

yum install gcc wget lrzsz vim

问题

1 NAT网络虚拟机可以ping通主机，但主机ping不通虚拟机

采用了以下办法都不能解决(PS:以前是可以的)

1.关闭主机，虚拟机防火墙
2.重新安装VBox和虚拟机

折腾了几小时，未找到原因，先暂时使用桥接模式，后面再看看能不能想到是什么原因

Hadoop集群环境搭建

集群规划

使用3台虚拟机
1台master, ip地址:192.168.1.15
2台slave, slave1 ip地址:192.168.1.15, slave2 ip地址:192.168.1.16

实际环境中，namenode需要多分配内存，datanode需要多分配硬盘空间

master虚拟机操作

安装java

下载地址

选择安装java8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压

        tar -xvzf jdk-8u181-linux-x64.tar.gz

设置环境变量

        export JAVA_HOME=/usr/local/src/jdk1.8.0_181
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

环境变量生效

        source ~/.bashrc

问题

x86，x64是什么意思?
x86:32位，x64:64位

2.选择tar.gz还是rpm?
这个看个人喜好吧，我选择的tar.gz，需要单独配置java相关的环境变量

hadoop 1.2.1安装

解压

        [root@localhost src]# tar -xvzf hadoop-1.2.1-bin.tar.gz

创建tmp目录

        [root@localhost src]# cd hadoop-1.2.1
[root@localhost hadoop-1.2.1]# mkdir tmp

配置

进入conf目录

        [root@localhost hadoop-1.2.1]# cd conf
[root@localhost conf]# pwd
/usr/local/src/hadoop-1.2.1/conf

配置masters

        [root@localhost conf]# vim masters

master

配置slaves

        [root@localhost conf]# vim slaves

slave1
slave2

配置core-site.xml

        vim core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.1.15:9000</value>
        </property>
</configuration>

配置mapred-site.xml

        [root@localhost conf]# vim mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://192.168.1.15:9001</value>
        </property>
</configuration>

配置hdfs-site.xml

        [root@localhost conf]# vim hdfs-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

6.配置hadoop-env.sh

        [root@localhost conf]# vim hadoop-env.sh

# 增加
export JAVA_HOME=/usr/local/src/jdk1.8.0_181

配置hosts

        [root@localhost conf]# vim /etc/hosts
192.168.1.15 master
192.168.1.16 slave1
192.168.1.17 slave2

配置hostname

        [root@localhost conf]# hostnamectl set-hostname master
[root@localhost conf]# hostnamectl status
   Static hostname: master
         Icon name: computer-vm
           Chassis: vm
        Machine ID: 8751162d551a426393cd5e5c2fadf3d3
           Boot ID: 4d3093f75e514da399ff522bea8b420f
    Virtualization: kvm
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-862.el7.x86_64
      Architecture: x86-64

slave1虚拟机操作

创建

从master克隆一份（克隆之前，先退出虚拟机）

选中master虚拟机->点击鼠标右键->复制->设置虚拟名(勾选重新初始化所有网卡地址)->接下来的步骤按提示操作

设置hostname

        hostnamectl set-hostname slave2

slave2虚拟机操作

操作同slave1，只不过主机名设置为slave2

虚拟机间建立互信，实现免密码登录

1.三台机分别生成rsa非对称秘钥

        # master
[wadeyu@master ~]$ su root
Password: 
[root@master wadeyu]# ssh-keygen

# slave1
[wadeyu@slave1 ~]$ su root
Password: 
[root@slave1 wadeyu]# ssh-keygen

# slave2
[wadeyu@slave2 ~]$ su root
Password: 
[root@slave2 wadeyu]# ssh-keygen

2.保存公钥到~/.ssh/authorized_keys文件中

        # master机器操作

[root@master wadeyu]# cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

追加slave1和slave2的公钥到这个文件中
[root@master wadeyu]# scp slave1:~/.ssh/id_rsa.pub ~/slave1_id_rsa.pub
[root@master wadeyu]# scp slave2:~/.ssh/id_rsa.pub ~/slave2_id_rsa.pub
[root@master wadeyu]# cat ~/slave1_id_rsa.pub >> ~/.ssh/authorized_keys 
[root@master wadeyu]# cat ~/slave2_id_rsa.pub >> ~/.ssh/authorized_keys

复制文件~/.ssh/authorized_keys到slave1,slave2
[root@master wadeyu]# scp ~/.ssh/authorized_keys slave1:~/.ssh
root@slave1's password: 
authorized_keys                                                                                              100% 1179   458.2KB/s   00:00    
[root@master wadeyu]# scp ~/.ssh/authorized_keys slave2:~/.ssh
root@slave2's password: 
authorized_keys

其它操作(每台虚拟机)

为了减少系统配置对集群的影响，学习环境关闭防火墙和selinux

1.关闭防火墙

        [root@master wadeyu]# systemctl stop firewalld
[root@master wadeyu]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since Sat 2018-09-01 11:26:29 CST; 5s ago
     Docs: man:firewalld(1)
  Process: 635 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 635 (code=exited, status=0/SUCCESS)

Sep 01 10:23:16 master systemd[1]: Starting firewalld - dynamic firewall daemon...
Sep 01 10:23:18 master systemd[1]: Started firewalld - dynamic firewall daemon.
Sep 01 11:26:21 master systemd[1]: Stopping firewalld - dynamic firewall daemon...
Sep 01 11:26:29 master systemd[1]: Stopped firewalld - dynamic firewall daemon.

关闭selinux

        [root@master wadeyu]# getenforce
Enforcing
[root@master wadeyu]# setenforce 0
[root@master wadeyu]# getenforce
Permissive

启动集群

master节点操作，进入hadoop/bin目录

第一次启动需要对hadoop格式化

        [root@master wadeyu]# cd /usr/local/src/hadoop-1.2.1
hadoop-1.2.1/            hadoop-1.2.1-bin.tar.gz  
[root@master wadeyu]# cd /usr/local/src/hadoop-1.2.1
[root@master hadoop-1.2.1]# cd /usr/local/src/hadoop-1.2.1/bin
[root@master bin]# ./hadoop namenode -format
18/09/01 11:37:07 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = master/192.168.1.15
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.8.0_181
************************************************************/
18/09/01 11:37:08 INFO util.GSet: Computing capacity for map BlocksMap
18/09/01 11:37:08 INFO util.GSet: VM type       = 64-bit
18/09/01 11:37:08 INFO util.GSet: 2.0% max memory = 1013645312
18/09/01 11:37:08 INFO util.GSet: capacity      = 2^21 = 2097152 entries
18/09/01 11:37:08 INFO util.GSet: recommended=2097152, actual=2097152
18/09/01 11:37:08 INFO namenode.FSNamesystem: fsOwner=root
18/09/01 11:37:08 INFO namenode.FSNamesystem: supergroup=supergroup
18/09/01 11:37:08 INFO namenode.FSNamesystem: isPermissionEnabled=true
18/09/01 11:37:08 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
18/09/01 11:37:08 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
18/09/01 11:37:08 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
18/09/01 11:37:08 INFO namenode.NameNode: Caching file names occuring more than 10 times 
18/09/01 11:37:09 INFO common.Storage: Image file /usr/local/src/hadoop-1.2.1/tmp/dfs/name/current/fsimage of size 110 bytes saved in 0 seconds.
18/09/01 11:37:09 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/src/hadoop-1.2.1/tmp/dfs/name/current/edits
18/09/01 11:37:09 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/src/hadoop-1.2.1/tmp/dfs/name/current/edits
18/09/01 11:37:09 INFO common.Storage: Storage directory /usr/local/src/hadoop-1.2.1/tmp/dfs/name has been successfully formatted.
18/09/01 11:37:09 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.1.15
************************************************************/

2.启动所有节点

        [root@master bin]# ./start-all.sh 
starting namenode, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-wadeyu-namenode-master.out
slave2: starting datanode, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-slave2.out
slave1: starting datanode, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-slave1.out
The authenticity of host 'master (192.168.1.15)' can't be established.
ECDSA key fingerprint is SHA256:8DvdHBlcz1qInlLa9k2iYyd4Ip7auPhcb0mjHbEwZmo.
ECDSA key fingerprint is MD5:9e:33:01:d2:fb:9c:dc:4f:40:30:90:fe:37:6e:1f:33.
Are you sure you want to continue connecting (yes/no)? yes
master: Warning: Permanently added 'master,192.168.1.15' (ECDSA) to the list of known hosts.
master: starting secondarynamenode, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-master.out
starting jobtracker, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-wadeyu-jobtracker-master.out
slave1: starting tasktracker, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-slave1.out
slave2: starting tasktracker, logging to /usr/local/src/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-slave2.out

3.查看集群状态

        # master
[root@master bin]# jps
2116 JobTracker
2232 Jps
1883 NameNode
2044 SecondaryNameNode

# slave1
[root@master bin]# ssh slave1
Last login: Sat Sep  1 11:20:05 2018 from slave2
[root@slave1 ~]# jps
3936 Jps
1617 TaskTracker
1538 DataNode

#slave2
[root@slave1 ~]# exit
logout
Connection to slave1 closed.
[root@master bin]# ssh slave2
Last login: Sat Sep  1 11:20:24 2018 from slave1
[root@slave2 ~]# jps
3774 TaskTracker
3695 DataNode
3871 Jps

4.hadoop文件操作示例

        # 查看/
[root@master bin]# ./hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2018-09-01 11:38 /usr

# 上传文件
[root@master bin]# ./hadoop fs -put /etc/passwd /
[root@master bin]# ./hadoop fs -ls /
Found 2 items
-rw-r--r--   3 root supergroup        847 2018-09-01 11:44 /passwd
drwxr-xr-x   - root supergroup          0 2018-09-01 11:38 /usr

# 查看文件内容
[root@master bin]# ./hadoop fs -cat /passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
wadeyu:x:1000:1000:wadeyu:/home/wadeyu:/bin/bash

说明

虚拟机使用了桥接模式连接，我在路由器增加了虚拟机mac地址和ip的绑定，所以虚拟机没有固定ip

参考资料

【0】八斗学院内部学习资料

原文：https://www.cnblogs.com/wadeyu/p/9621503.html

内容总结

以上是互联网集市为您收集整理的Hadoop1.0之集群搭建全部内容，希望文章能够帮你解决Hadoop1.0之集群搭建所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1174042.html

来源：【匿名】

【上一篇】hadoop常用技巧【下一篇】php能用hadoop吗

更多 ►

【Hadoop1.0之集群搭建】教程文章相关的互联网学习教程文章

Ganglia环境搭建并监控Hadoop分布式集群简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...

Hadoop学习之路（四）Hadoop集群搭建和简单应用【代码】【图】

概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点　　从节点2、master　　slave3、管理者　　工作者4、leader　　followerHadoop集群中各个角色的名称：服务主节点从节点HDFSNameNodeDataNodeYARNResourceManagerNode...

hadoop ha集群搭建【图】

集群配置：jdk1.8.0_161hadoop-2.6.1zookeeper-3.4.8linux系统环境：Centos6.53台主机：master、slave01、slave02Hadoop HA集群搭建（高可用）：设置静态IP地址为普通用户添加sudo权限服务器网络设置：NAT模式域名设置主机名设置SSH免登录配置关闭防火墙红色步骤主每台主机都要执行，参照上一篇伪分布式集群的搭建环境变量（每台主机一样）：配置文件：配置core-site.xml<configuration><property><!-- 指定hdfs的nameservice为ns...

hadoop2.9.2集群搭建（虚拟机）【代码】【图】

1.虚拟机安装centos7(网上可以百度，各种教程，此处忽略)2.修改主机名（同时修改3台机器）[root@promote ~]# vim /etc/hostname # 主机名 hadoop001 [root@promote ~]# hostname hadoop001 [root@promote ~]# hostname hadoop001 3.修改hosts[root@promote ~]# vim /etc/hosts ## 添加 192.168.1.13 hadoop001 192.168.1.14 hadoop002 192.168.1.15 hadoop003 [root@promote ~]# scp /etc/hosts 192.168.1.14:/etc [root@promote ~...

Hadoop1.0之集群搭建【代码】

VirtualBox虚拟机下载地址下载择操作系统对应的基础安装包下载扩展包（不区分操作系统）http://www.oracle.com/technetwork/cn/server-storage/virtualbox/downloads/index.html安装基础包按照提示安装即可扩展包安装1 先安装基础包2 安装扩展包打开虚拟机 -> 管理 -> 全局设定 -> 扩展 -> 点击右边的加号 -> 选择下载的扩展包文件，按照提示安装即可VBox安装CentOS7下载minimalISOhttp://isoredirect.centos.org/centos/7/isos/x...

Hadoop集群日常运维【代码】

一、备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 #!/bin/bash export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H` if [ ! -d ${dirname} ] then mkdir ${dirname} ...

hadoop搭建伪分布式集群

一、伪分布式1.新建虚拟机　　2. 修改虚拟机的静态IP　　3. 修改主机名　　4. 关闭防火墙　　5. 创建普通用户　　useradd jinghang 　　passwd jinghang 　　6. 配置普通用户具有root权限　　　　vim /etc/sudoers 91 　　　　jinghang ALL=(ALL) NOPASSWD:ALL 　　　　完成后:wq! 　　7.在/opt目录下创建文件夹　　　　（1）在/opt目录下创建module、software文件夹　　　　　　mkdir /opt/module /opt/software 　　　　(...

如何获取到Hadoop集群的个数

Class ClusterStatus====================================================================ClusterStatus provides clients with information such as:Size of the cluster.Name of the trackers.Task capacity of the cluster.The number of currently running map and reduce tasks.State of the JobTracker.Details regarding black listed trackers. ---------------------------------------------------------------------...

Hadoop,HBase集群环境搭建的问题集锦(三)【代码】【图】

16配置IK中文分词器。 1.下载最新的Ik中文分词器。下载地址：http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1。将该目录下的IKAnalyzer.cfg.xml,stopword.dic放到之前安装TOMCAT_HOME/webapps/solr/WEB-INF/classes目录下（没有就创建classes文件夹。） IKAnalyzer2012FF_u1.jar放到之前安装的TOMCAT_HOME/webapps/solr/WEB-INF/lib目...

Ganglia环境搭建并监控Hadoop分布式集群【图】

简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例关闭防火...

Hadoop集群问题集【代码】

1、bigdata is not allowed to impersonate xxx 原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property><name>hadoop.proxyuser.bigdata.hosts</name><value>*</value> </property> <property><name>hadoop.proxyuser.bigdata.groups</name><value>*</value> </property>备注hadoop.proxyuser.XXX.hosts 与 hadoop.proxyuser.XXX.groups 中XXX为异常信息中User:* 中的用户名部分<property> <name>hadoop.proxyuser....

spark集群进入 bin 下面目录./spark-shell 出现Unable to load native-hadoop library for your platform... using builtin-java classes where applicable【代码】

spark集群启动的时候可以正常，进入 ./spark-shell 就会出现如下错误配置文件：spark-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_51export SCALA_HOME=/home/hadoop/scala-2.11.6export SPARK_MASTER_IP=master24export SPARK_MASTER_PORT=17077export SPARK_MASTER_WEBUI_PORT=18080export SPARK_WORKER_CORES=1export SPARK_WORKER_MEMORY=30gexport SPARK_WORKER_WEBUI_PORT=18081export SPARK_WORKER_INSTANCES=1INFO SparkEn...

搭建Hadoop集群需要注意的问题：【代码】【图】

搭建Hadoop集群需要注意的问题：1.检查三台主机名是否正确2.检查三台IP是否正确3.检查 /etc/hosts 映射是否正确4.检查 JDK和Hadoop 是否安装成功（看环境变量配置）键入：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确：5.检查 SSH免密码登录是否设置成功：[master：主机名server1：第一台从机名server2：第二台从机名]6.检查 Hadoop配置文件进到hadoop目录下：【注：Nahshon 为用户名，更改为你自己的虚拟机主机...

Ubuntu14（64位）集群环境下安装Hadoop2.4【图】

经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。工作如下：两台机器：NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下127.0.0.1 localhost 192.168.101.130 YP-X100e ...

首页 / HADOOP / Hadoop1.0之集群搭建

Hadoop1.0之集群搭建

内容导读

内容图文

VirtualBox虚拟机

下载地址

安装基础包

扩展包安装

VBox安装CentOS7

下载minimalISO

虚拟机配置规划

创建虚拟机

安装CentOS7操作系统

创建包含操作系统iso文件的光盘

安装操作系统

配置虚拟机网络

安装依赖的包

问题

Hadoop集群环境搭建

集群规划

master虚拟机操作

安装java

下载地址

解压

设置环境变量

环境变量生效

问题

hadoop 1.2.1安装

解压

创建tmp目录

配置

slave1虚拟机操作

创建

设置hostname

slave2虚拟机操作

虚拟机间建立互信，实现免密码登录

其它操作(每台虚拟机)

启动集群

说明

参考资料

内容总结

内容备注

内容手机端

【Hadoop1.0之集群搭建】教程文章相关的互联网学习教程文章

HADOOP - 相关标签

集群 - 相关标签

HADOOP - 最新教程

HADOOP - 最热教程