Hadoop学习笔记之Hadoop伪分布式环境搭建
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop学习笔记之Hadoop伪分布式环境搭建,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2890字,纯文字阅读大概需要5分钟。
内容图文
搭建为伪分布式Hadoop环境
1、宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接。
a) Host-only 宿主机与客户机单独组网;
好处:网络隔离;
坏处:虚拟机和其他服务器之间不能通讯;
b) Bridge 桥接 宿主机与客户机在同一个局域网中。
好处:窦在同一个局域网,可以互相访问;
坏处:不完全。
2、Hadoop的为分布式安装步骤
a) 设置静态IP
在centos下左面上右上角图标右键修改;
重启网卡service network restart;
验证:执行命令ifconfig
b) 修改主机名(原名称casichadoop) hostname查看当前名称
修改当前会话主机名:设置名称 hostname hadoop
修改配置文件中:hostname vi /etc/sysconfig/network 为hadoop
c) 把hostname和ip绑定
执行命令 vi /etc/hosts增加10.10.10.10
保存退出
验证:ping hadoop
d) 关闭防火墙 先查看service iptables status
Service iptables stop
e) 防火墙自动启动 先查看chkconfig --list | grep iptables
关闭自动启动防火墙 chkconfig iptables off
验证:chkconfig --list | grep iptables
f) Ssh(secure shell)的免密码登录
<1>执行命令shh-keygen -t rsa 产生秘钥,位于~/.ssh
<2>执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh localhost
g) 安装JDK
l 打开目录 cd /usr/local
l 然后删除全部文件rm -rf *
l 复制所有的文件到当前目录下cp /root/Downloads/* .
l 查看当前目录的权限 ls -l
l 赋予权限执行权限chmod u+x jdk-6u24-linux-i586.bin
l 执行安装JDK ./jdk-6u24-linux-i586.bin
l mv jdk1.6.0_24 jdk 重命名
l 设置环境变量vi /etc/profile
n Export JAVA_HOME=/usr/local/jdk
n Export PATH=./$JAVA_HOME/bin:$PATH
n Source /etc/profile
n 验证:java -version
h) 安装HADOOP
i. Tar -zxvf hadoop-1.1.2.tar.zip
ii. Mv hadoop-1.1.2 hadoop
iii. 设置环境变量
n Export HADOOP_HOME=/usr/local/hadoop
n Export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
iv. 修改四个配置文件
1. 修改hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
2. 修改core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop:9000</value> <description>hadoop</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
3. 修改hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
4. 修改mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop:9001</value> <description>change you own hostname</description> </property> </configuration>
v. 执行命令 hadoop namenoe -format 对hdfs格式化
vi. 执行命令 start-all.sh
vii. 执行命令 jps 查看进程
原文:http://blog.csdn.net/hugengyong/article/details/40322769
内容总结
以上是互联网集市为您收集整理的Hadoop学习笔记之Hadoop伪分布式环境搭建全部内容,希望文章能够帮你解决Hadoop学习笔记之Hadoop伪分布式环境搭建所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。