HBASE完全分布式模式的安装

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了HBASE完全分布式模式的安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7049字，纯文字阅读大概需要11分钟。

内容图文

hadoop环境搭建好了，也学习了在eclipse中调试wordcount了，嘿嘿，下面试试hbase集成进去，年后争取顺利转入hadoop工作

首先 hadoop 和hbase版本需要对应，不然很多未知问题的对应表如下

Table 2.1. Hadoop version support matrix

	HBase-0.92.x	HBase-0.94.x	HBase-0.96.0
Hadoop-0.20.205	S	X	X
Hadoop-0.22.x	S	X	X
Hadoop-1.0.0-1.0.2^[a]	S	S	X
Hadoop-1.0.3+	S	S	S
Hadoop-1.1.x	NT	S	S
Hadoop-0.23.x	X	S	NT
Hadoop-2.0.x-alpha	X	NT	X
Hadoop-2.1.0-beta	X	NT	S
Hadoop-2.2.0	X	NT	S
Hadoop-2.x	X	NT	S
^[a]HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.

S = supported and tested,

X = not supported,

NT = it should run, but not tested enough.

<H2 style=‘margin: 0px; padding: 0px; font-family: "Microsoft YaHei";‘>1集群环境下hadoop.1.0.0已经安装成功

"Microsoft YaHei";‘>"Microsoft YaHei";‘>　　确保hadoop集群正常。 hadoop dfsadmin -report 正常就ok

0px; padding: 0px; font-family: "Microsoft YaHei";‘>"Microsoft YaHei";‘>2配置hosts，确保涉及的主机名均可以解析为ip, 解压hbase（hadoop用户安装）

配置好需要安装hbase的机器，因为要用到zoopkeeper最好确保机器个数为奇数个。

注意事项，hbase的版本要兼容hadoop集群的hadoop-core-xxx.jar的版本。最好hbase版本里lib下的hadoop-core-xxx.jar和hadoop集群的一样。

所以这里我选择了HBase-0.94.0，对应hadoop-core-1.0.0.jar

解压hbase过程略过。

tar -zxvf /home/hadoop/hbase-0.94.0-hadoop1-bin.tar.gz

mv hbase-0.94.0-hadoop1 hbase ##重命名为hbase

①配置环境变量。

su 切换root用户

vi /etc/profile

export HBASE_HOME=/home/hadoop/hbase 

export PATH=.:$HBASE_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

②使环境变量生效

source /etc/profile

su hadoop

③验证hbase

hbase version

3编辑$HBASE_HOME/conf/hbase-env.xml

#Java环境

export  JAVA_HOME=/usr/java/jdk1.6.0_24

#通过hadoop的配置文件找到hadoop集群

export  HBASE_CLASSPATH=/usr/hadoop/conf    (我的hadoop放usr下面了)

#使用HBASE自带的zookeeper管理集群

export  HBASE_MANAGES_ZK=true

4编辑$HBASE_HOME/conf/hbase-site.xml

"Microsoft YaHei";‘>在 $HBASE_HOME/conf/hbase-site.xml 添加下面内容（hbase-0.94版本压缩包解压后会有 $HBASE_HOME/src/main/resources/hbase-default.xml （不用全拷，其实就下面的就够了）拷贝里面的内容加入）

<configuration><property><name>hbase.rootdir</name><value>hdfs://192.168.40.145:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.session.timeout</name><value>60000</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property><property><name>hbase.master.port</name><value>60000</value></property><property><name>hbase.master</name><value>Master.Hadoop</value></property><property><name>hbase.tmp.dir</name><value>/home/hadoop/hbase/hbase-tmp</value></property><property><name>hbase.zookeeper.quorum</name><value>Master.Hadoop</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/hbase/hbase-tmp/zookeeper</value></property></configuration>

0px; padding: 0px; font-family: "Microsoft YaHei";‘>5编辑$HBASE_HOME/conf/regionservers文件
Slave2.Hadoop
Slave3.Hadoop

0px; padding: 0px; font-family: "Microsoft YaHei";‘>6把Hbase复制到其它节点
scp -r /home/hadoop/hbase/ hadoop@Slave2.Hadoop:/home/hadoop/
scp -r /home/hadoop/hbase/ hadoop@Slave3.Hadoop:/home/hadoop/

su 切换root
scp -r /etc/profile root@Slave2.Hadoop:/etc
scp -r /etc/profile root@Slave3.Hadoop:/etc

source /etc/profile
分别验证
hbase version

0px; padding: 0px; font-family: "Microsoft YaHei";‘>7启动Hbase

启动Hbase之前要确保zookeeper起来了

[hadoop@Master logs]$ jps
22484 Jps
21854 SecondaryNameNode
21938 JobTracker
21677 NameNode
22069 QuorumPeerMain

而且hadoop要处于非安全模式下（重要），hadoop启动后默认有30秒属于安全模式

查看命令

hadoop dfsadmin -safemode get

如果是ON ，可以等30秒或者

hadoop dfsadmin -safemode leave

然后再启动hbase
start-hbase.sh

[hadoop@Master logs]$ jps
22513 Jps
21854 SecondaryNameNode
21938 JobTracker
22269 HMaster
21677 NameNode
22069 QuorumPeerMain

停止hbase

stop-hbase.sh

0px; padding: 0px; font-family: "Microsoft YaHei";‘>"Microsoft YaHei";‘>8验证启动

验证：jps 可以查看进程或者用 hbase shell尝试进入 hbase环境

0px; padding: 0px; font-family: "Microsoft YaHei";‘>21px/26px "Microsoft YaHei"; text-align: left; color: rgb(51, 102, 153); text-transform: none; text-indent: 0px; letter-spacing: normal; text-decoration: none; word-spacing: 0px; white-space: normal; orphans: 2; widows: 2; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;‘>

9问题总结

2014-01-15 14:03:11,120 DEBUG org.apache.hadoop.hbase.util.FSUtils: Created version file at hdfs://192.168.40.145:9000/hbase set its version at:7
2014-01-15 14:03:11,135 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /hbase/hbase.version could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
    at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

试验中，出现上面的问题，在master机器上，HMaster服务起来了一会，自动就关掉了，而http://192.168.40.145:60010/master-status 也打不开，

这个问题可能是存在于 hadoop的 namenode的VERSION不一致了，两个办法

　原因：每次namenode format会重新创建一个namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的数据，但是没有清空datanode下的数据，导致启动时失败，所要做的就是每次fotmat前，清空tmp一下的所有目录。

　　第一种解决方案如下：

　　1）先删除"/usr/hadoop/tmp"

rm -rf /usr/hadoop/tmp

　　2）创建"/usr/hadoop/tmp"文件夹

mkdir /usr/hadoop/tmp

　　3）删除"/tmp"下以"hadoop"开头文件

　　rm -rf /tmp/hadoop*

　　4）重新格式化hadoop

hadoop namenode -format

　　5）启动hadoop

start-all.sh

　　使用第一种方案，有种不好处就是原来集群上的重要数据全没有了。假如说Hadoop集群已经运行了一段时间。建议采用第二种。

　　第二种方案如下：

　　1）修改每个Slave的namespaceID使其与Master的namespaceID一致。

　　或者

　　2）修改Master的namespaceID使其与Slave的namespaceID一致。

　　该"namespaceID"位于"/usr/hadoop/tmp/dfs/data/current/VERSION"文件中，前面蓝色的可能根据实际情况变化，但后面红色是不变的。

　　例如：查看"Master"下的"VERSION"文件

保证namenode和datanode上这个一致就ok了

测试环境可以采用第一种直接format，实际生产环境推荐第二种

原文：http://www.cnblogs.com/fw5454f/p/3518713.html

内容总结

以上是互联网集市为您收集整理的HBASE完全分布式模式的安装全部内容，希望文章能够帮你解决HBASE完全分布式模式的安装所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1323382.html

来源：【匿名】

【下一篇】基于HBase Thrift接口的一些使用问题及相关注意事项的详解

更多 ►

【HBASE完全分布式模式的安装】教程文章相关的互联网学习教程文章

hadoop环境搭建好了，也学习了在eclipse中调试wordcount了，嘿嘿，下面试试hbase集成进去，年后争取顺利转入hadoop工作首先 hadoop 和hbase版本需要对应，不然很多未知问题的对应表如下Table 2.1. Hadoop version support matrix HBase-0.92.xHBase-0.94.xHBase-0.96.0Hadoop-0.20.205SXXHadoop-0.22.xSXXHadoop-1.0.0-1.0.2[a]SSXHadoop-1.0.3+SSSHadoop-1.1.xNTSSHadoop-0.23.xXSNTHadoop-2.0.x-alphaXNTXHadoop-2.1.0-beta...

HBase配置（伪分布式模式）

1、配置文件和环境①配置hbase-env.sh设置Java安装路径设置HBase的配置文件路径（/opt/module/hbase/conf）采用HBase自带Zookeeper，设置参数true②配置hbase-site.xml<property> <name>hbase.rootdir</name> <value>hdfs://bigdata128:9000/hbase</value></property><property>...

【HBase基础教程】1、HBase之单机模式与伪分布式模式安装【代码】

在这篇blog中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境，搭建hadoop环境请参考：【Hadoop基础教程】4、Hadoop之完全分布式环境搭建开发环境硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）软件环境：Java 1.7.0_45、Eclipse Juno Service Release 2、hadoop-1.2.1、hbase-0.94.20。1...

如何快速搭建HBase分布式NoSQL数据库

原文：http://blog.chinaunix.net/uid-25723371-id-4973888.html

伪分布式Hadoop + zookeeper + Hbase【代码】【图】

目的：　　CentOS7 安装 Hadoop 伪分布式环境组件版本信息：　　Hadoop: 2.7.7　　Hbase: 1.4.8　　zookeeper：3.4.7资料下载：　　资料包含：虚拟机安装包，CentOS7镜像，所需组件　　链接：https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg 　　提取码：hysl Linux 设置：　　（1.）关闭防火墙：　　systemctl stop firewalld.service #停止firewall　　systemctl disable firewalld.service #禁止firewall开...

CentOS 7 伪分布式搭建 hadoop+zookeeper+hbase+opentsdb【代码】【图】

一、前期准备1、配置ip进入文件编辑模式：vim /etc/sysconfig/network-scripts/ifcfg-ens192 原内容：TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=dhcp DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens192 UUID=f384ed85-2e1e-4087-9f53-81afd746f459 DEVICE=ens192 ONBOOT=no 修改后内容：TYPE=Etherne...

OpenTSDB介绍——基于Hbase的分布式的，可伸缩的时间序列数据库，而Hbase本质是列存储【图】

原文链接：http://www.jianshu.com/p/0bafd0168647OpenTSDB介绍1.1、OpenTSDB是什么？主要用途是什么？官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase；翻译过来就是，基于Hbase的分布式的，可伸缩的时间序列数据库。主要用途，就是做监控系统；譬如收集大规模集群（包括网络设备、操作系统、应用程序）的监控数据并进行存储，查询。1.2、介绍continue存储到OpenTSD...

HBase完全分布式安装【代码】【图】

环境Linux：Centos Linux 7.3JDK：jdk1.8.0_181Hadoop：2.8.5Zookeeper：3.4.13HBase：1.4.8 服务器bigdata01：192.168.1.50 （主节点）bigdata02：192.168.1.51bigdata03：192.168.1.52安装步骤1，下载hbase安装包hbase-1.4.8-bin.tar.gz，并上传到bigdata01服务器的/opt目录中。2，解压安装包，tar -zvxf hbase-1.4.8-bin.tar.gz然后将目录hbase-1.4.8修改为hbase，mv hbase-1.4.8 hbase3，进入hbase的conf目录，编辑hbase-env.s...

Hbase伪分布式（成功实施）

Hbase伪分布式（成功实施）hadoop集群正常，zookeeper集群正常修改Hbase-env.sh的JAVA_HOME,改成绝对路径。并修改export HBASE_MANAGES_ZK=false修改环境变量HBASE_HOME修改hbase-site.xml添加 <property> <name>hbase.rootdir</name> <value>hdfs://mycluster:9000/hbase</value> </property>  ...

Hbase伪分布式【代码】【图】

其实我就是要让数据存储在hdfs上而已。。。。。。。。多配置点东西就好了，在hbase-site.xml中加入:<configuration><property><name>hbase.rootdir</name><value>hdfs://yangsy132:9000/user/hive/warehouse/</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper-3.4.6/...

hadoop三----基于hadoop伪分布式整合hive和hbase【代码】【图】

hadoop的生态圈：650) this.width=650;" src="/upload/getfiles/default/2022/11/12/20221112100811697.jpg" title="502962121.png" />ETL 数据的抽取、转换、加载1)安装hive 1.解压 # tar zvxf hive-0.13.0.tar.gz -C /usr/local # cd /usr/local # ln -sv /usr/local/hive-0.12.0 /usr/local/hive 2.替换jar包，保持hbase0.98与hadoop1.2一致 # cd /usr/hive/lib # rm -rf hbase-0.94* # find /usr/hbase/lib -...

分布式集群环境hadoop、hbase、zookeeper搭建（全）

1、环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP 新建用户新建用户密码 Master 10.10.10.213 hadoop 123456 Slave1 10.10.10.2141、环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：HostnameIP新...

Hadoop、Hbase完全分布式搭建【图】

一、Hadoop1.0到2.0的架构变化 650) this.width=650;" src="/upload/getfiles/0001/2021/4/26/20210426032503968.jpg" title="图片1.png" alt="wKioL1UNG-aSt10OAAHl295Gnjw111.jpg" /> 1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成 2、HDFS一、Hadoop1.0到2.0的架构变化1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNN Federation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS 2.01、解决HDFS ...

CentOS 7 伪分布式搭建 hadoop+zookeeper+hbase+opentsdb【代码】【图】

DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens192 UUID=f384ed85-2e1e-4087-9f53-81afd746f459 DEVICE=ens192 ONBOOT=no 修改后内容：TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no...

Hadoop HBase ZooKeeper分布式集群环境搭建

# Hadoop HBase ZooKeeper分布式集群环境搭建## 一、环境说明#### 1.1 主机情况集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：四个节点均使用CentOS 7.6系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。注1：可以通过编辑/etc/sysconfig/network文件来修改 hostname 。...

HBASE - 最热教程

深入分析HBaseRPC(Protobuf)实现机制 HBase应用与发展之HBase RowKey与索引设...python – couchbase因为太大而无法存储 Apache NiFi之MySQL数据同步到HBase python使用happybase批量的操作hbase HBase方案 | 基于Lindorm的互联网账单解...排查生产环境HBase RegionServer节点无...hbase是否能取代mysql HBase的region管理深入HBASE原理详解

首页 / HBASE / HBASE完全分布式模式的安装