Hadoop2.2.0Ubuntu12.04单节点安装
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop2.2.0Ubuntu12.04单节点安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4677字，纯文字阅读大概需要7分钟。
内容图文
摘自：http://blog.csdn.net/twlkyao/article/details/16801753 一：环境准备： 基于Windows Server下VMWare的ubuntu12.04-64server. 下载免费的VMware Workstation并安装好; 下载 免费的Ubuntu 12.04 server版并在VMware中安装好； 二：基础安装： 执行如下
摘自：http://blog.csdn.net/twlkyao/article/details/16801753
一：环境准备：基于Windows Server下VMWare的ubuntu12.04-64server.
- 下载免费的VMware Workstation并安装好;
- 下载 免费的Ubuntu 12.04 server版并在VMware中安装好；
二：基础安装：
- 执行如下命令升级部分软件和把ssh安装好：
(1) sudo apt-get update;
(2) sudo apt-get upgrade;
(3) sudo apt-get install openssh-server;
- 有两种方法可以安装Oracle JDK(本文采用第一种)。
方法一：通过webupd8team自动安装，执行命令如下：
(1) sudo apt-get install python-software-properties
(2) sudo add-apt-repository ppa:webupd8team/java
(3) sudo apt-get update
(4) sudo apt-get install oracle-java6-installer
方法二：手动安装JDK1.6
(1) 下载jdk1.6http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.html，
(2) 执行chmod +x jdk-6u37-linux-x64.bin增加可执行权限；
(3) ./ jdk-6u37-linux-x64.bin直接解压即可，建议放在/opt目录下。
(4) 然后将解压后的bin目录加入到PATH环境变量中即可。
- 创建hadoop用户。
(1) sudo addgroup hadoop
(2) sudo adduser --ingroup hadoop hduser
- 建立SSH信任关系，登录localhost就不需要密码
$ cd /home/hduser
$ ssh-keygen -t rsa -P "" #直接回车
$cat .ssh/id_rsa.pub >>.ssh/authorized_keys
注：可通过ssh localhost命令验证。
三：正式安装：
注：以下操作以hduser登录进行操作。
- 下载hadoop2.2版本。地址：http://apache.dataguru.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz。
- 执行tar zxf hadoop-2.2.0.tar.gz解压至当前目录/home/hduser目录下。
- mv hadoop-2.2.0 hadoop
四：配置hadoop:
- 编辑/home/hduser/hadoop/etc/hadoop/hadoop-env.sh
替换exportJAVA_HOME=${JAVA_HOME}为如下：
exportJAVA_HOME=/usr/lib/jvm/java-6-oracle
- 编辑/home/hduser/hadoop/etc/hadoop/core-site.xml，在
中添加如下：
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.
备注：配置了/home/hduser/hadoop/tmp/这个目录，必须执行mkdir /home/hduser/hadoop/tmp/创建它，否则后面运行会报错。
- 编辑/home/hduser/hadoop/etc/hadoop/mapred-site.xml：
(1) mv /home/hduser/hadoop/etc/hadoop/mapred-site.xml.template/home/hduser/hadoop/etc/hadoop/mapred-site.xml
(2) 在
at. If "local", thenjobs are run in-process as a single map
and reduce task.
- 编辑/home/hduser/hadoop/etc/hadoop/hdfs-site.xml，在
中添加如下：
The actual number of replications can be specified when the file iscreated.
The default is used if replication is not specified in create time.
五：运行Hadoop
在初次运行Hadoop的时候需要初始化Hadoop文件系统，命令如下：
$cd /home/hduser/hadoop/bin
$./hdfs namenode -format
如果执行成功，你会在日志中(倒数几行)找到如下成功的提示信息：
common.Storage: Storage directory/home/hduser/hadoop/tmp/hadoop-hduser/dfs/name has been successfully formatted.
运行命令如下：
$cd /home/hduser/hadoop/sbin/
$./start-dfs.sh
注：该过程需要多次输入密码, 如果不想多次输入密码，可先用ssh建立信任。
hduser@ubuntu:~/hadoop/sbin$ jps
4266 SecondaryNameNode
4116 DataNode
4002 NameNode
注：用jps查看启动了三个进程。
$./start-yarn.sh
hduser@ubuntu:~/hadoop/sbin$ jps
4688 NodeManager
4266 SecondaryNameNode
4116 DataNode
4002 NameNode
4413 ResourceManager
六：查看Hadoop资源管理器
http://localhost:8088/，将其中的192.168.128.129替换为你的实际IP地址。
七：测试Hadoop
cd /home/hduser
$wget http://www.gutenberg.org/cache/epub/20417/pg20417.txt
$cd hadoop
$ bin/hdfs dfs -mkdir /tmp
$ bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp
bin/hdfs dfs -ls /tmp
$bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/pg20417.txt /tmp-output
如果一切正常的话，会输入相应的结果，可以从屏幕输出看到。
八：停止Hadoop
若停止hadoop，依次运行如下命令：
$./stop-yarn.sh
$./stop-dfs.sh
九：参考资料
- https://sites.google.com/site/jianpengxu/tutorials/hadoop-setup
- http://wenku.baidu.com/view/1681511a52d380eb62946df6.html
内容总结
以上是互联网集市为您收集整理的Hadoop2.2.0Ubuntu12.04单节点安装全部内容，希望文章能够帮你解决Hadoop2.2.0Ubuntu12.04单节点安装所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。