伪分布式Hadoop + zookeeper + Hbase
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了伪分布式Hadoop + zookeeper + Hbase，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4756字，纯文字阅读大概需要7分钟。
内容图文
目的：
CentOS7 安装 Hadoop 伪分布式环境
组件版本信息：
Hadoop: 2.7.7
Hbase: 1.4.8
zookeeper：3.4.7
资料下载：
资料包含：虚拟机安装包，CentOS7镜像，所需组件
链接：https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg 提取码：hysl
Linux 设置：
（1.）关闭防火墙：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
免密登陆ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys
（2.）修改主机名：
vim /etc/hosts 【添加 IP 和自定义主机名】
vim /etc/hostname 【删除原有内容，替换为自定义主机名】
（3.）重启虚拟机
reboot / init 6
=================【安装前 准备】=================
cd /usr/local
mkdir mytars bigdata
所有 软件包存放在 /usr/local/mytars
所有 文件解压在 /usr/local/bigdata
==============================================
（4.）安装jdk
<1.> 查看 是否自带openJDK
<2.> 删除 openJDK
使用 rpm -e --nodeps ... 命令进行删除；删除标准以不删除不带箭头的内容为标准
<4.> 安装JDK
#cd /usr/local
#mkdir java
#tar java.tar.gz -C /usr/local/java
<5.> 配置环境变量
vim /etc/profile
（5.）安装 Hadoop 【解压命令就不写了】
<1.> 修改配置文件
================>>>>>>> core-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://xuyf:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>xuyf:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>xuyf</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/root/hbase/tmp</value>
</property>
================>>>>>>> hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
================>>>>>>> hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>xuyf:50090</value>
</property>
================>>>>>>> mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
================>>>>>>> yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<2. > 配置环境变量 【包括所有组件的配置方法，SO 后面不再写了】
修改命令：vim /etc/profile
使之生效：source /etc/profile
<3. > 格式化namenode 启动并检查
// 格式化namenode
cd hadoop2.7.7/bin/
./hdfs namenode -format
// 启动 Hadoop
cd hadoop2.7.7/sbin/
./start-all.sh
// 检查方式：
（1.） jps ==> 显示：namenode,secondarynamenode,datanode,nodemanager.resourcemanager
（2.） 检查namenode web页面： 主机ip / 主机映射名：50070
（6.） 安装Zookeeper
<1.> 进入conf目录并拷贝默认的配置文件模板zoo_sample.cfg，并命名为zoo.cfg，并修改
// 修改
dataDir=/usr/local/bigdata/zookeeper-3.4.7/data dataLogDir=/usr/local/bigdata/zookeeper-3.4.7/logs
// 结尾处添加 server.1=xuyf:2888:3888
<2. >创建dataDir 和 dataLogDir 目录。
<3. >echo 1 > /usr/local/bigdata/zookeeper-3.4.7/data/myid
<4. >执行bin目录下的zkServer.sh start ，启动zookeeper
(7.) 安装Hbase
<1. >修改配置文件
================>>>>>>> hbase-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.7
export HBASE_HOME=/usr/local/bigdata/hbase-1.4.8
export HBASE_CLASSPATH=/usr/local/bigdata/hadoop-2.7.7/etc/hadoop
export HBASE_MANAGES_ZK=false
================>>>>>>> hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://xuyf:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>xuyf:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>xuyf</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/root/hbase/tmp</value>
</property>
================>>>>>>> regionservers
xuyf
<2. >注意事项：
hbase-site.xml中hbase.tmp.dir指定hbase的临时数据存储目录为/root/hbase/tmp，注意启动hbase前需要提前建立好对应目录
<3. >执行bin目录下的start-hbase.sh 启动 Hbase
<4.>检查
jps ==》HMaster ,HRegionServer
web ==》主机ip / 主机映射名：16010
原文：https://www.cnblogs.com/Sleepy-ff/p/11737339.html
内容总结
以上是互联网集市为您收集整理的伪分布式Hadoop + zookeeper + Hbase全部内容，希望文章能够帮你解决伪分布式Hadoop + zookeeper + Hbase所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。