首页 / HADOOP / ubuntu下hadoop2.3.0配置

ubuntu下hadoop2.3.0配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了ubuntu下hadoop2.3.0配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4774字，纯文字阅读大概需要7分钟。

内容图文

环境系统：ubuntu12.4

hadoop版本:2.3.0

一。下载hadoop-2.3.0-tar.gz解压

二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下

1、core-site.xml

hadoop.tmp.dir
/usr/local/hadoop-2.3.0/tmp/hadoop-${user.name}

fs.defaultFS
hdfs://localhost:8020

2、hdfs-site.xml

dfs.namenode.name.dir
/usr/local/hadoop-2.3.0/tmp/dfs/name

dfs.datanode.data.dir
/usr/local/hadoop-2.3.0/tmp/dfs/data

dfs.replication
1

3、mapred-site.xml

mapreduce.framework.name
yarn

4、yarn-site.xml

yarn.resourcemanager.hostname
localhost

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

三、命令启动

hadoop脚本命令在${hadoop-2.3.0}/bin和${hadoop-2.3.0}/sbin目录下，可以根据路径执行命令

也可以配置环境变量，简便命令书写

使用命令：sudo /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.3.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

初始化hadoop文件系统

hdfs namenode -format

四、启动和关闭hadoop

1. 启动脚本一：

sujx@ubuntu:~$ hadoop-daemon.sh start namenode

starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
sujx@ubuntu:~$ hadoop-daemon.sh start datanode
starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
sujx@ubuntu:~$ hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
sujx@ubuntu:~$ jps
9310 SecondaryNameNode
9345 Jps
9140 NameNode
9221 DataNode
sujx@ubuntu:~$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
sujx@ubuntu:~$ yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
9310 SecondaryNameNode
9651 NodeManager
9413 ResourceManager
9140 NameNode
9709 Jps
9221 DataNode
sujx@ubuntu:~$

2. 启动脚本二：

sujx@ubuntu:~$ start-dfs.sh
Starting namenodes on [hd2-single]
hd2-single: starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
hd2-single: starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
sujx@ubuntu:~$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
hd2-single: starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
11414 SecondaryNameNode
10923 NameNode
11141 DataNode
12038 Jps
11586 ResourceManager
11811 NodeManager
sujx@ubuntu:~$

3. 启动脚本三：

sujx@ubuntu:~$ start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hd2-single]
hd2-single: starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
hd2-single: starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
hd2-single: starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
14156 NodeManager
14445 Jps
13267 NameNode
13759 SecondaryNameNode
13485 DataNode
13927 ResourceManager
sujx@ubuntu:~$

其实这三种方式最终效果都是相同，他们内部也都是相互调用关系。对应的结束脚本也简单：
1. 结束脚本一：
sujx@ubuntu:~$ hadoop-daemon.sh stop nodemanager
sujx@ubuntu:~$ hadoop-daemon.sh stop resourcemanager
sujx@ubuntu:~$ hadoop-daemon.sh stop secondarynamenode
sujx@ubuntu:~$ hadoop-daemon.sh stop datanode
sujx@ubuntu:~$ hadoop-daemon.sh stop namenode
2. 结束脚本二：
sujx@ubuntu:~$ stop-yarn.sh
sujx@ubuntu:~$ stop-dfs.sh
3. 结束脚本三：
sujx@ubuntu:~$ stop-all.sh

查看hadoop namenode或hdfs的状态：http://localhost:50070/

查看job运行情况：http://localhost:8088/

客户端访问的hdfs的地址端口：8020

客户端访问的YARN 的地址端口：8032

至此，单机伪分布就已经部署完毕。

内容总结

以上是互联网集市为您收集整理的ubuntu下hadoop2.3.0配置全部内容，希望文章能够帮你解决ubuntu下hadoop2.3.0配置所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/528613.html

来源：【匿名】

【上一篇】Hadoop用来补充而非替代关系型数据库【下一篇】php能用hadoop吗

更多 ►

【ubuntu下hadoop2.3.0配置】教程文章相关的互联网学习教程文章

Ubuntu 14.10 下Hadoop HttpFS 配置【代码】

因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。　　HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS1 集群环境Ubuntu-14.10openjdk-7hadoop-2.6.0 HA(双NN)hue-3.8.1（development）2 安装因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需...

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码，通过编译源码并安装一、需要准备的软件：1.JDK和GCC 设置JAVA_HOME： vim ~/.bashrc 在最后增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31，保存退出。使设置立即生效：source ~/.bashrc 测试JAVA_HOME是否设置成功，输出了上面设置的路径表示成功： echo $JAVA_HOME2.安装maven 解压 tar -zxvf apache-ma...

Ubuntu14（64位）集群环境下安装Hadoop2.4【图】

经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。工作如下：两台机器：NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下127.0.0.1 localhost 192.168.101.130 YP-X100e ...

Ubuntu环境下手动配置Hadoop【代码】

配置Hadoop前提时已经配置过JDK和SSH（如何配置JDK：http://www.cnblogs.com/xxx0624/p/4164744.html）（如何配置SSH：http://www.cnblogs.com/xxx0624/p/4165252.html） 1. 添加Hadoop用户sudo addgroup hadoop sudo adduser --ingroup hadoop hadoopsudo usermod -aG admin hadoop 2. 下载Hadoop文件（例：Hadoop1.2.1，我放的时/home/xxx0624/hadoop）sudo tar -zxzf hadoop-1.2.1.tar.gz sudo mv hadoop-1.2.1 /home/xxx06...

【常用配置】Hadoop-2.6.5在Ubuntu14.04下的伪分布式配置【代码】

core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>hdfs-site.xml<?xml version="...

Hadoop单机模式安装入门（Ubuntu系统）【图】

闲来无事，突然看到关于Hadoop集群。以前也了解过，网上找过一些关于百度，谷歌等底层hadoop集群的文档，可是面对很多陌生的技术，看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。Hadoop支持三种启动集群模式，分别是单...

install hadoop on xubuntu【代码】【图】

0. install xubuntuwe recommend to set username as "hadoop"after installation, set user "hadoop" as administratorsudo addgroup hadoop sudo adduser --ingroup hadoop hadoop 打开/etc/sudoers文件sudo gedit /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL 1. install java1.解压java压缩包到usr/java(新建的文件夹)中。解压后就可使用2.配置环境变量。如下在etc/profile 文件中。在最后...

（9）ubuntu下hadoop1.0.4源码编译【图】

本机环境:ubuntu 12.04 32位jdk 1.7（1）maven-3.2.2的安装首先到maven官网下载，http://maven.apache.org/，这里我下载了最新版本，maven-3.2.2解压到/usr/local/目录下： tar -zxvf apache-maven-3.2.2-bin.tar.gz，并重命名为maven修改 /etc/profile:添加一下两个变量并保存：export M2_HOME=/usr/local/mavenexport PATH=.:$M2_HOME/bin:$PATH然后在终端上输入：source /etc/profile测试是否安装成功，在终端输入：mvn -v，...

Ubuntu 18.04 安装Hadoop 2.10【代码】【图】

安装步骤：1、新建虚拟机（网络选桥接模式、内存尽量大）2、安装Ubuntu 18.043、安装JDK JRE4、创建hadoop用户# 1、创建用户 sudo useradd -m hadoop -s /bin/bash # 2、设置密码（按提示输入两次密码）sudo passwd hadoop # 3、设置权限sudo adduser hadoop sudo # 4、用hadoop登录后更新一下 apt sudo apt-get update5、配置SSH无密码登录ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hado...

Hadoop2.4.1在Ubuntu14.04上的集群配置

本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容） 2. http://os.51cto.com/art/201309/411793_all.htm 3. http://gxl-ct001.iteye.com/blog/1982910 4. http://w本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容） 2. http://os.51cto.com/ar...

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：［一］、基础环境 Ubuntu 12.04 LTS 64? 位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 ［二］、软件配置 1、更新apt 源 vi /et/apt/sources.list ,在文件末增加如下国内访本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：［一］、基础环境 Ubuntu 12.04 LTS 64? 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1［二...

ubuntu12.04安装Hadoop1.2.1【图】

原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备：我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定，下载地址可以到官网提供的镜像http://w原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备：我下载...

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置【图】

3.2分布式搭建 hostname 角色登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2 3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...