HBASE - 技术教程文章
hbase安装【代码】
Hbase的安装首先保证集群各个节点的正常运行将hbase-1.0.0-cdh5.5.0.tar.gz上传到各个节点中1 tar -xzvf hbase-1.0.0-cdh5.5.0.tar.gz 2 mv hbase-1.0.0-cdh5.5.0 hbase 确认服务器配置文件一致,确认 zookeeper 先启动,确保集群时间一致。修改hbase-site.xml(/home/hadoop/soft/hbase/conf)<configuration> <property> <!-- 确保和集群名字一致--> <name>hbase.rootdir</name> <value>hdfs://kcluster/hbase</value> </property> <...
HBase的SHELL操作和API【代码】【图】
1、表结构：2、SHELL操作 命令：hbase shell显示表：list创建表：create ‘tb_name‘,‘column_family_1‘,‘column_family_2‘,...;或者 create ‘user‘, {NAME => ‘column_family_1‘, VERSIONS => ‘3‘} 插入数据：put ‘tb_name‘,‘rk_on‘,‘column_family : key‘,‘value‘获取数据： 获取所有数据：get ‘tb_name‘,‘rk_on‘ 获取列族数据：get ‘tb_name‘,‘rk_on‘,‘column_fam...
hadoop(九) - hbase shell命令
1. 进入hbase命令行 ./hbase shell 2. 显示hbase中的表 list 3. 创建user表，包含info、data两个列族 create ‘user‘, ‘info1‘, ‘data1‘ create ‘user‘, {NAME => ‘info‘, VERSIONS => ‘3‘}4. 向表中插入信息：向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan put ‘user‘, ‘rk0001‘, ‘info:name‘, ‘zhangsan‘ 向user表中插入信息，row key为rk0001，列族info中添加gender列标...
hbase thrift java util【代码】
转载：https://github.com/ssw239/java-thrift-hbase-io/blob/master/HBaseThriftClient.javapom.xml<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-thrift</artifactId><version>1.3.1</version> </dependency>ThriftUtil.javapackage hbase;import java.lang.Object; import java.nio.ByteBuffer; import java.nio.CharBuffer; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; i...
一次phoniex表查询报出 org.apache.hadoop.hbase.NotServingRegionException【图】
org.apache.hadoop.hbase.NotServingRegionException: SYSTEM.STATS,,1607503004410.334266e1a9b7d9859dbfbdd57285af67. is not online是SYSTEM.STATS这个表not online造成的（具体我也没搞清楚），这个表示phoniex自带的系统表还未解决 尝试修复方式：1.首先尝试了使用hbase hbck 修复，但是我的hbase是2.0.2，只能看表有不一致的问题，这个命令试用与hbase1版本 hbase hbck --help 查看详细说明 2.那就按照他说的，去编译下...
HBase二次开发之搭建HBase调试环境，如何远程debug HBase源代码【代码】【图】
版本HDP：3.0.1.0HBase：2.0.0一、前言之前的文章也提到过，最近工作中需要对HBase进行二次开发（参照HBase的AES加密方法，为HBase增加SMS4数据加密类型）。研究了两天，终于将开发流程想清楚并搭建好了debug环境，所以就迫不及待地想写篇文章分享给大家。二、思路首先看到这个需求，肯定是需要先实现HBase配置AES加密《HBase配置AES加密》，或者还可以再继续了解实现SMS4加密算法《Java版SMS4加密解密算法》。等到这些都完成之后，...
hbase的相关组件
hbase的列族hbase的列族存储的是相同IO属性的数据，每个文件对应hdfs上的一个文件在hbase建表时需要指定有多少个列族对列族进行管理的是HRegion hbase的region假设有个db1表，它有10000行数据，2500行存储在一个region里，region编号 startKey endKey 1 2500 2 2500 5000 3 5000 ...
Hbase1.2.2安装和集群搭建【代码】
1.环境准备jdk1.7.0_79 Hadoop2.7.2.(匹配Hbase1.2.2) zookeeer3.4.8 hbase-1.2.2-bin.tar.gz最好和hadoop安装在统一用户下,解压安装包tar zxvf hbase-1.2.2-bin.tar.gz 2. 修改配置文件.bashrc(多节点)export JAVA_HOME=/usr/local/jdk1.7.0_79 export HADOOP_HOME=/home/hadoop/hadoop export HBASE_HOME=/home/hadoop/hbase export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin:$...
HBase数据存储格式【图】
好的数据结构，对于检索数据，插入数据的效率就会很高。常见的数据结构B+树 根节点和枝节点非常easy，分别记录每一个叶子节点的最小值，并用一个指针指向叶子节点。 叶子节点里每一个键值都指向真正的数据块。每一个叶子节点都有前指针和后指针，这是为了做范围查询时。叶子节点间能够直接跳转。从而避免再去回溯至枝和根节点。 特点： 1、有n棵子树的结点中含有n个keyword，每一个keyword不保存数据，仅仅用来索引，全部数据都...
HBase JDBC驱动Phoenix与SpringJDBCTemplate的集成【代码】
Phoenix:Phoenix将SQL查询语句转换成多个scan操作，并编排执行最终生成标准的JDBC结果集。 Spring将数据库访问的样式代码提取到JDBC模板类中，JDBC模板还承担了资源管理和异常处理的工作，Phoenix作为JDBC驱动同样可以将其与Spring集成，提高开发效率。 具体操作如下： 1.配置applicationContext.xml<beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xmlns:hdp="...
解决hbase-daemon.sh start master之后，master启动后很快就挂掉了的问题【图】
如果是根据尚硅谷视频学习的，①hadoop3.x ②hbase1.3.1 在初次使用hbase-daemon.sh start master命令后，HMaster启动之后很快就会挂掉 我使用的版本是hadoop3.1.3，zookeeper 3.5.6，hbase2.2.2 解决方法：在hbase/conf/hbase-site.xml中， 此外，hbase和hadoop版本之间有对应关系，需要注意。原文：https://www.cnblogs.com/wangmengdx/p/14824015.html
局域网内任何一台pc上windows下eclipse远程连接hbase数据库
通过很长一段时间的反复失败，终于在windows下实现远程连接hbase数据库，在不断的尝试过程中深感一个详细的文档的重要性，于是就把我配置的详细过程记录下来。文中如果有些地方用词不当，或者理解错误，欢迎您们评论。一、运行平台hbase服务器端：Ubuntu 14.04 64位；HBASE1.1.3；JAVA 1.8；hbase客服端：windows32/64位；JAVA1.8；eclipse 4.5；二、linux服务器端环境配置1、 安装java 1.8软件 1）下载java软件注：如果系统软件库...
Nutch + Hbase【图】
本文主要讲解内容包括：ant及ivy的搭建、Nutch + Hbase搭建1、ant及ivy的搭建1-1）ant下载地址http://ant.apache.org/bindownload.cgi1-2）环境变量配置，修改linux /etc/profile文件内容，添加如下：export ANT_HOME=/usr/ant export PATH=$ANT_HOME/bin:$PATH 1-3）下载ivy build.xml http://ant.apache.org/ivy/history/latest-milestone/samples/build.xml1-4）在下载的路径下执行 ant 命令，成功后在ant的安装路径下新增ivy文...
Hbase Interface HConnection
HTablePool 在Hbase 0.94、0.95、0.97被废弃，在0.98中被清除（ HTablePool 对比HConnection.getTable），hbase0.98 HTablePool会被逐渐废弃，直到0.98的发行版本中会被清楚。使用新的API，HConnection.getTable(...)。它的设计思想： “默认情况下，当需要的时候，HConnectionInplementation将会创建一个ExecutorService。这个ExecutorService能够选择性地传递，传入进去进行处理。HTableInterfaces从HConnection...
Linux-CentOS下Couchbase的安装【图】
Linux-CentOS下Couchbase的安装按照红色加粗字体步骤即可：1.下载[root@localhost test]# wget http://packages.couchbase.com/releases/2.0.0/couchbase-server-enterprise_x86_64_2.0.0.rpm--2016-05-16 03:06:33-- http://packages.couchbase.com/releases/2.0.0/couchbase-server-enterprise_x86_64_2.0.0.rpmResolving packages.couchbase.com... 54.231.112.123Connecting to packages.couchbase.com|54.231.112.123|:80......
Centos(64位)安装Hbase详细步骤【图】
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。L...
快速理解HBase和BigTable【图】
https://cloud.tencent.com/developer/article/1525559有关系行数据库经验的人（比如我），在最初接触HBase这样的数据库时，对数据结构的理解容易遇到障碍。会不自觉的将HBase的行、列等概念映射成关系型数据库的行、列。为了加速理解HBase的一些概念，翻译了这篇文章《Understanding HBase and BigTable》（HBase官方文档推荐阅读文章）。学习Hbase（Google BigTable的开源实现）最困难的是理解它的实际概念。很不幸的是，这两个伟...
Phoenix 5.0 hbase 2.0 org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab【代码】
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>hadoop</artifactId><groupId>org.lzw.example</groupId><version>1.0-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><artifactId>p...
hbase基本概念和hbase shell常用命令用法
1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。 Row Keycolumn-family1column-family2column-fami...
CentOS7 安装Hbase集群【代码】【图】
继续接上一章，已安装好Hadoop集群环境http://www.cnblogs.com/dopeter/p/4612232.html 在此基础上继续安装Hbase集群Hbase版本为1.0.1.1 一、 安装与配置Hbase 1. 解压tar -zxvf hbase-1.0.1.1-bin.tar.gz-C /opt 2. 配置cd /opt/hbase-1.0.1.1/conf vi hbase-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_45export HBASE_MANAGES_ZK=false vi hbase-site.xml<configuration><!--HBase数据目录位置--><property><name>hbase.ro...
HBase应用开发回顾与总结系列之三：RowKey行键生成器工具【代码】【图】
所谓RowKey行键生成器，是指通过软件工具制定行键生成策略，并可将策略信息保存成本地策略文件，待需要时再将本地策略文件序列化成行键生成策略对象，传入数据行信息后可自动生成RowKey行键。那么，为什么要设计这个行键生成器呢？最初的时候，我们有一个需求，要把Oracle中的若干大表数据导入到HBase中，那么这里就出现了一个问题：那么多表，每个表的RowKey生成规则都是不一样的，难道我们要为每个表都设计一个行键生成方法吗？！...
11 Hbase特性 3v特性，Volume(量级) Varity(种类) Velocity(速度)
HBase中表的特点大： 一个表可以由百亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的存储和权限控制，列（族）独立检索稀疏：对于为空（null） 的列，并不占用存储空间，因此表可以设计的非常稀疏。多版本：每个Cell中的数据可以由多个版本，默认情况下版本号自动分配为时间戳。类型唯一：HBase中的数据都是字符串，没有类型所以。。。。 列限定符那么多，朋友么多。 大数据强调 3V特性，Volume(量级) Varity(种类) ...
hbase SingleColumnValueFilter 列不存在 无法过滤【代码】
问题描述对一张log表按时间过滤正常数据的话,每行有一个时间戳列timestamp作为操作时间,按这个列值过滤出特定时间段的log信息但是不知怎么的log表中多了一些垃圾数据(不一定是垃圾数据,只是没有timestamp这个字段)。过滤第一天的话会有5800条没有操作时间(timestamp),过滤第二天的时候还是有5800条没有操作时间的,过滤前两天的时候还是5800条。问题分析问题很明显了,就是当某一行没有要过滤的字段时,SingleColumnValueFilter是默认...
hbase首次导入大批次的数据成功！
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上，然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程：1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.noaa.gov/pub/data/normals/1981-2010/下载。 我们使用在目录 products | hourly 下的小时温度数据（可以在上述链接页面中找到）。下载hly-temp-10pctl.txt文件。2...
Hbase运维参考（项目）【图】
1 Hbase日常运维1.1 监控Hbase运行状况1.1.1 操作系统1.1.1.1 IO 群集网络IO，磁盘IO，HDFS IOIO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。2.正在执行mapreduce作业可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据：Io wait磁盘IO对集群的影响比较大，如果io wait时间过长需检查系统或磁盘是否有异常。通常IO增加时io wait也会增加，现在FM...
Python操作HBase之happybase【代码】【图】
安装Thrift安装Thrift的具体操作，请点击链接pip install thrift 安装happybasepip install happybase 连接(happybase.Connection)happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=’0.98’, transport=’buffered’, protocol=’binary’)获取连接实例host：主机名port：端口timeout：超时时间autoconnect：连接是否直接打开tab...
HBase启动和停止命令【代码】
启动HBase集群：bin/start-hbase.sh单独启动一个HMaster进程：bin/hbase-daemon.sh start master单独停止一个HMaster进程：bin/hbase-daemon.sh stop master单独启动一个HRegionServer进程：bin/hbase-daemon.sh start regionserver单独停止一个HRegionServer进程：bin/hbase-daemon.sh stop regionserver 原文：http://www.cnblogs.com/jun1019/p/6260492.html
spark(2.1.0) 操作hbase(1.0.2)
1、spark中引入外部jar包 1）创建/usr/software/spark_jars目录，放入spark操作hbase的jar包：hbase-annotations-1.0.2.jar，hbase-client-1.0.2.jar，hbase-common- 1.0.2.jar，hbase-server-1.0.2.jar 2）修改spark-default.conf文件,加入以下两行： spark.executor.extraClassPath=/usr/software/spark_jars/* spark.driver.extraClassPath=/usr/software/spark_jars/*2、进入hbase事先创建好表 ...
Hbase脚本小结
脚本使用小结： 1.开启集群，start-hbase.sh 2.关闭集群，stop-hbase.sh 3.开启/关闭所有的regionserver、zookeeper，hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭单个regionserver、zookeeper，hbase-daemon.sh start/stop regionserver/zookeeper 5.开启/关闭master hbase-daemon.sh start/stop master, 是否成为active master取决于当前是否有active master 两个进阶脚本 6.rolling-restart.sh 可以用来挨个...
搭建hbase-0.92.1集群环境
先安装hadoop1.2.1，见http://blog.csdn.net/jediael_lu/article/details/389264771、配置hbase-site.xml<property><name>hbase.zookeeper.quorum</name><value>master,slave1,slave2</value> </property> <property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value> </property> <property><name>hbase.cluster.distributed</name><value>true</value> </property>2、配置regionserversslave1 slave23、配置hb...