HBASE - 技术教程文章
Hbase 源码调试：Remote debug 模式【代码】【图】
不愤不启，不悱不发；举一隅不以三隅反，则不复也。 解释：（教学生）不到他苦思冥想怎么也弄不明白的时候，不去开导他；不到他想说而又说不出来的时候，不去启发他。告诉他（四方形）的一个角，他不能由此推出另外三个角，就不再往下教他（新知识）了。 学习Hbase的开端，就是要了解它的架构，以及HMaster,HRegionServer 的一个启动流程，明白了Hbase内部的基本流程，才能从大局上把握住。明白了Hbase的组成部分，才能在集...
什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么【图】
什么是Zookeeper，Zookeeper的作用是什么，它与NameNode及HMaster如何协作？在没有接触Zookeeper的同学，或许会有这些疑问。这里给大家总结一下。一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以...
Kettle实现Oracle数据导入HBase
某个生产数据库（oracle）中单表记录了上亿的车辆定位数据，应用系统的轨迹回放功能已出现明显的加载卡顿现象（优化了索引，查询指定车辆一段时间内的定位数据，差不多在15秒）。考虑到常规分表的方案治标不治本、同时也是为其他更大量级数据项目积累经验，我们决定尝试使用hbase来存储定位数据。要做的第一步就是需要将数据导入到hbase里。由于我们已经建立了CDH环境，且之前已经通过里面的streamset套件成功实现了kafka定位数据导...
hbase 单机模式安装
1：下载安装包（我下载的0.94版本，如果考虑后期与hadoop兼容，需要找合适的版本）http://mirrors.hust.edu.cn/apache/hbase/hbase-0.94.20/hbase-0.94.20.tar.gz 安装jdk略 2：安装 上传至服务器，tar -zxvf解 压即可 3:修改配置文件 进入解压完成目录，cd bin vi hbase-env.sh 修改JAVA_HOME为当前服务器jdk地址 vi hbase-site.xml hbase.rootdir ffile:///自己想存放的hbase的路径 4：启动 到hba...
java实现服务端守护进程来监听客户端通过上传json文件写数据到hbase中【代码】
1、项目介绍： 由于大数据部门涉及到其他部门将数据传到数据中心，大部分公司采用的方式是用json文件的方式传输，因此就需要编写服务端和客户端的小程序了。而我主要实现服务端的代码，也有相应的客户端的测试代码。这里须有一个需要提到的是，我在实现接收json文件的同时，而且还需将数据写到hbase中。写入到hbase当中采用的是批量插入的方式，即一次插入多条记录。 好了，有了前面的说明，下面来简单的说一下我实现的服务端...
Hbase 基础 - shell 与 客户端【代码】
以下内容为个人理解，仅供参考。一、简介 Hbase是在HDFS上开发的面向列的分布式数据库，适用于随机读/写超大规模的数据集（通常这种数据压力传统RDBMS很难承受），可以在廉价的硬件上构成的集群上管理超大规模的稀疏表，并且可以水平扩展。 二、基础概念 1、Hbase把数据存放在表中，表由行列组成，表中的行是排序的（根据ASCII顺序），行键作为表的主键，对表的数据访问需要通过主键或者主键Range，故行键的设计很重要。 ...
HBase应用快速开发【图】
有人说过“让Hadoop开发像家庭作业一样简单”，容器技术的出现让这成为可能，可以用Docker封装HBase运行环境，通过统一的接口来运行。本文将介绍如何在十分钟内跑起你的HBase应用。首先，我们需要安装HBase集群来开发和测试，下载HBase源码运行单机版固然可以，前提是你已经安装配置好Java和Maven环境，或者你可以运行命令docker run -d --net=host tobegit3hub/standalone-hbase-0.94。这个命令会下载名为standalone-hbase-0.94的...
大数据学习之Hbase基本JavaAPI操作及HbaseMR 29【代码】【图】
8：hbase基本API操作这里我没在代码中写各种集群信息，而是将集群的配置文件放在了项目的resource中的，就可以直接读取到了package hbase;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException; import java.util.ArrayList; import java.util.List;/*** @author Dawn* @date 2019年...
Hbase 建表基本命令总结
访问hbase,以及操作hbase，命令不用使用分号 hbase shell 进入hbaselist 查看表 hbase shell -dhbase(main):024:0> scan ‘.META.‘=============小例子===================================================1. 创建一个表member hbase(main):025:0> create ‘member‘,‘m_id‘,‘address‘,‘info‘2.list #查看所有表3.查看表描述 hbase(main):028:0> describe ‘member‘4. scan浏览表中数据 scan ‘member‘5. 删除一个列族m_...
《HBase在滴滴出行的应用场景和最佳实践》【图】
HBase在滴滴出行的应用场景和最佳实践 背景 对接业务类型 HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数据进行处理并产出结果，对任务完成的时间要求不是非常敏感，并且处理逻辑复杂，如天级别报表、安...
HBase的集群搭建【代码】
前提：已经安装过jdk，HDFS集群和zookeeper，我的集群规划见HDFS的文章中1.在1上安装配置hbase 下载：http://mirror.bit.edu.cn/apache/hbase/stable/tar -zxvf hbase-1.2.6-bin.tar.gz -C itcast/2.修改配置文件 cd /itcast/hbase-1.2.6/conf（1）vi hbase-site.xml <configuration><!-- 指定hbase在HDFS上存储的路径 --><property><name>hbase.rootdir</name><value>hdfs://ns1/hbase</value></property><!-- 指定hbase是分布...
HBase操作【代码】
1、hbase API操作1）首先将core-site.xml、hbase-site.xml、hdfs-site.xml引入maven工程的resources下面2）配置pom.xml文件 增加hbase依赖<dependencies><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>1.3.0</version></dependency><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>1.3.0</version></dependency></dependencies...
HBase协处理器同步二级索引到Solr【代码】【图】
一、 背景二、 什么是HBase的协处理器三、 HBase协处理器同步数据到Solr四、 添加协处理器五、 测试六、 协处理器动态加载一、 背景在实际生产中，HBase往往不能满足多维度分析，我们能想到的办法就是通过创建HBase数据的二级索引来快速获取rowkey，从而得到想要的数据。目前比较流行的二级索引解决方案有Lily HBase Indexer，Phoenix自带的二级索引，华为Indexer，以及360的二级索引方案。上面的目前使用比较广泛的应该是Lily HBa...
如何快速搭建HBase分布式NoSQL数据库
原文：http://blog.chinaunix.net/uid-25723371-id-4973888.html
hbase-0.92.1过滤器学习【代码】
查看当前hbase中支持的过滤器hbase(main):060:0* show_filters Documentation on filters mentioned below can be found at: https://our.intern.facebook.com/intern/wiki/index.php/HBase/Filter_Language ColumnPrefixFilter ...
hbase split log源码分析
原文：http://blackproof.iteye.com/blog/2199242
HBase表数据分页处理
HBase表数据分页处理HBase是Hadoop大数据生态技术圈中的一项关键技术，是一种用于分布式存储大数据的列式数据库，关于HBase更加详细的介绍和技术细节，朋友们可以在网络上进行搜寻，笔者本人在接下来的日子里也会写一个HBase方面的技术专题，有兴趣的朋友们可以稍微的期待一下。不过本章节的重点是介绍下HBase表数据的分页处理，其他的就不多说了。首先说一下表数据分页中不可回避的一个指标：总记录数。在关系数据库中很容易统计出...
详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出【图】
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase，其他情况下的命令行选项与MySQL的操作相似 OK！ 最好的文档尽在：http://sqoop.apach...
【DB宝46】NoSQL数据库之CouchBase简介、集群搭建、XDCR同步及备份恢复【代码】【图】
[toc] 一、 CouchBase概述1.1、简述CouchBase是一款开源的、分布式的、面向文档的NoSQL数据库，主要用于分布式缓存和数据存储领域。能够通过manage cache提供快速的亚毫米级别的k-v存储操作，并且提供快速的查询和其功能强大的能够指定SQL-like查询的查询引擎。Couchbase是一个较新的、发展迅速的nosql数据库技术。2014年，viber宣布使用couchbase替换mongodb，以适应10亿级的用户量，目前，couchbase已大量运用于生产环境，国内使...
Hbase Java API包括协处理器统计行数【代码】
package com.zy; import java.io.IOException;import org.apache.commons.lang.time.StopWatch; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; imp...
hbase基础操作_01
创建一张表如下 create ‘anle_test‘,‘info‘其中 ‘anle_test‘ 为表名 ‘info‘ 为列蔟 list 命令 查看所有的表scan ‘test‘ scan 命令为 查看test 表的信息put 插入命令 put ‘anle_test‘ ,‘0001‘,‘info:username‘,‘tom‘其中 0001 为 rowkey 其中info:username 为列名 ‘tom‘ 为值is_enable 为 查看某张表是否可用describe 为 将某张表禁用,(删除表的时候,必须先禁用这张表,然后使用dorp删除表) 原文：ht...
Dream------Hbase--0.94版本和0.98/1.X版本api变动【图】
Dream------Hbase--0.94版本和0.98/1.X版本api变动 网上好多说getQualifier、getValue、getRow被..Array代替了，其实并不是的。1、InternalScanner 是使用在服务器端的一个类。他的next方法需要的参数是一个Cell类型的。不能使用KeyValue了。getQualifier---返回的是列-被CellUtil.cloneQualifier(cell)代替getQualifierArray---返回的是列的值getValue---被CellUtil.cloneValue(cell)代替getRow---被CellUtil.cloneRow(cell)代替 ...
hbase shell 命令
1、首先要打开hbase,使用jps查看进程jps是java进程状态工具，它会返回进程ID和服务名称chen@ubuntu:~/Apache/hbase-0.94.15-security$ jps 3082 NameNode 6245 HRegionServer 3493 JobTracker 6064 HMaster 5999 HQuorumPeer 3638 TaskTracker 3259 DataNode 3413 SecondaryNameNode 6320 Jps 2、运行hbase shell启动hbase-shell:进入bin目录下，输入./hbase shellstatus：hbase(main):022:0> status1 servers, 0 dead, 2.0000 ave...
HBase 查找版本
直接使用hbase shell命令进入shell时间会告诉版本：进shell后。关键在version命令。能够查看版本：# hbase shell HBase Shell; enter ‘help<RETURN>‘ for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 2013hbase(main):001:0> version version 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 2013 版权声明：本文博主原创文章。博客，未经同意不得...
HBase简介【图】
各位小伙伴们，又到了每周分享java&大数据技术的时间，这一次我给大家分享的是hbase技术。那么hbase到底是一个什么样的技术，他又能拿来干嘛用的呢？接下来就让我们一起来学习这个技术吧~~。今天要讲的是第一辑：HBase简介。HBase简介在学习hbase之前，我们先了解一下hadoop的生态系统 HBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 在Hadoop生态圈中，它是其中一部分且利用Hadoop HD...
HBase单机环境搭建【代码】
1.安装环境ubuntu 14.04 serverhbase-1.0.1JDK1.72.安装JDK并配置环境变量参考 JAVA笔记整理（二），下载安装JDK3.安装HBase 3.1、解压缩HBase sudotar -zxvf hbase-1.0.1-bin.tar.gz 3.2、重命名hbase-1.0.1为hbase1.0sudomv hbase-1.0.1/ hbase1.0 3.3、修改HBase配置文件，位于hbase目录下conf文件夹 hbase-env.sh文件 将export JAVA_HOME 修改为本机JDK安装目录 hbase-site.xml文件 <confi...
Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error) hbase
问题： 在HBase机群搭建完成后，通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error) hbase错误。 解决方案:我的问题是由机群中的版本和eclipse中引用的zookeeper版本不一致所致。 原文：http://www.cnblogs.com/abcdwxc/p/7827033.html
hbase
package com.utils; import java.io.IOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HBaseAdmin; import...
scala操作hbase案例【代码】
案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.{Put, Result, Get, HTable} import org.apache.hadoop.hbase.util.Bytes import scala.collection.mutableobject HbaseTool {val table = new mutable.HashMap[String,HTable]()var conf = HBaseConfiguration.create...
伪分布式Hadoop + zookeeper + Hbase【代码】【图】
目的： CentOS7 安装 Hadoop 伪分布式环境组件版本信息： Hadoop: 2.7.7 Hbase: 1.4.8 zookeeper：3.4.7资料下载： 资料包含：虚拟机安装包，CentOS7镜像，所需组件 链接：https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg 提取码：hysl Linux 设置： （1.）关闭防火墙： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开...