hadoop伪分布式2.4.1安装

一、准备：

1、修改主机名

vi /etc/sysconfig/network内容如下：

NETWORKING=yes

HOSTNAME=myHadoop

2、修改主机名和IP的映射关系

vi /etc/hosts

192.168.127.150myHadoop

3、关闭防火墙

3.1、查看防火墙状态

service iptables status

3.2、关闭防火墙

service iptables stop

3.3、查看防火墙开机启动状态

chkconfig iptables --list

3.4、关闭防火墙开机启动

chkconfig iptables off

4、重启Linux：reboot/shutdown -r now

二、安装JDK：

1、解压：

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool

2、将java添加到环境变量中：

sudo vi /etc/profile

#在文件最后添加

export JAVA_HOME=/opt/tool/jdk-7u_65-i585

export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

#验证：java -version

java version "1.7.0_65"

Java(TM) SE Runtime Environment (build 1.7.0_65-b17)

Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode)

三、安装hadoop2.4.1：

1、解压：

tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool

2、将hadoop添加到环境变量中

sudo vi /etc/profile

#在文件最后添加

export HADOOP_HOME=/opt/tool/hadoop-2.4.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#刷新配置

source /etc/profile

#验证：hadoop version

Hadoop 2.4.1

Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318

Compiled by jenkins on 2014-06-21T05:43Z

Compiled with protoc 2.5.0

From source with checksum bb7ac0a3c73dc131f4844b873c74b630

This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar

3、配置hadoop：

3.1：hadoop-env.sh

vim hadoop-env.sh

#第27行

export JAVA_HOME=/opt/tool/jdk-7u_65-i585

3.2：core-site.xml

<!-- 指定HADOOP所使用的文件系统URI，HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoopnode0:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/tool/hadoop-2.4.1/tmp</value>

                </property>

3.3：hdfs-site.xml   hdfs-default.xml  (3)

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

          </property>

3.4：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

          </property>

3.5：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoopnode0</value>

     </property>

<!-- reducer获取数据的方式 -->

     <property>

    <name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

     </property>

3.6：格式化namenode

（是对namenode进行初始化,只有在第一次安装时执行格式化，切记切记，否则数据丢失。）

hdfs namenode -format (或者hadoop namenode -format)

3.7：启动hadoop：

#先启动HDFS：start-dfs.sh，启动了一下进程：

    NameNode 

    SecondaryNameNode 

    DataNode

#再启动YARN：start-yarn.sh，启动了一下进程：

    NodeManager         

    ResourceManager

3.8：验证是否启动成功

使用jps命令验证

22303 NameNode

22216 Jps

27643 SecondaryNameNode

25566 NodeManager

25603 ResourceManager

27812 DataNode

http://192.168.1.201:50070 （HDFS管理界面）

http://192.168.1.201:8088 （MR管理界面）

原文：http://8757576.blog.51cto.com/8747576/1827475