HBase

以下是为您整理出来关于【HBase】合集内容,如果觉得还不错,请帮忙转发推荐。

【HBase】技术教程文章

深入理解HBase【图】

思考:HBase服务器内部由那些主要部件构成? HBase的内部工作原理是什么? 1. HBase的工作原理: 首先HBase Client端会连接Zookeeper Qurom(从下面的代码也能看出来,例 如:HBASE_CONFIG.set(“hbase.zookeeper.quorum”,”192.168.50.216″) )。通过Zookeeper组件Client能获知哪个Server管理-ROOT-Region。那么Client就去访问管理-ROOT-的 Server,在META中记录了HBase中所有表信息,(你可以使用 scan ‘.META.’ 命令列出...

Hbase Java API 测试代码

package com.rabbit.hadoop.testEnv;import java.io.IOException;import java.util.List;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apach...

HADOOP学习笔记(四):HBase【图】

HBase简介Hbase是分布式、面向列的开源数据库(其实准确的说是面向列族)。HDFS为Hbase提供可靠的底层数据存储服务,MapReduce为Hbase提供高性能的计算能力,Zookeeper为Hbase提供稳定服务和Failover机制,因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。HBase 要点① 它介于 NoSQL 和 RDBMS 之间,仅能通过主键(rowkey)和主键的 range 来检索数据② HBase 查询数据功能很简单,不支...

hbase单机模式的安装及启动

从apache官网上下载hbase的稳定版本:http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.1.2-bin.tar.gz解压到本机上的任何一个目录,在我的电脑上是/home/jason/hbase:tar xvfz hbase-1.1.2-bin.tar.gz修改/etc/profile文件增加环境变量http://my.oschina.net/u/914897/admin/new-blogexport HBASE_HOME=/home/jason/hbase/hbase-1.1.2export PATH=$PATH:$HBASE_HOME/binsource /etc/profile使配置生效配置/conf/hbase-env...

Ubuntu环境下nutch集成HBase【代码】

nutch集成HBase(详见:http://duguyiren3476.iteye.com/blog/2085973 )1. 修改nutch的hbase配置//将自己的hbase配置copy到nutch配置中 cp /home/hbase/conf/hbase-site.xml /home/nutch/conf/ 2. 使用hbase0.92.2-jar代替原来的hbase文件(在/home/nutch/runtime/local/lib中)原因:(我使用的hbase时0.94.25)nutch自带的gora3.0只能最高支持hbase0.92,默认的是hbase0.90如果使用默认的hbase0.90操作自己安装的hbase0.94,...

hbase

http://hbase.apache.org/http://www.crxy.cn/ 大数据http://blog.csdn.net/frankiewang008/article/details/41965543http://wangmored.iteye.com/blog/1727731原文:http://www.cnblogs.com/zengkefu/p/5058798.html

HBase篇--初始Hbase【图】

一.前述1.HBase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。2.利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务。3.主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)。二.Hbase数据模型2.1 ROW KEY(相当于关系型数据库中的ID)决定一行数据按照字典顺序排序的。Row key只能存储64k的字节数据2.2 Column Family列族 & qu...

通过 JMX 获取Hadoop/HBase监控数据

概述说到对Hadoop和 HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用 zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自带 了ganglia的接口,也还是觉得不够。其实Hadoop本身是带有监控接口的,各公司的发行版还有自己定制的接口,不过可能知道的人就不太多了。其实这个...

熟悉常用的HBase操作【代码】【图】

create ‘Student‘, ‘ S_No ‘,‘S_Name‘, ’S_Sex’,‘S_Age‘ put ‘Student‘,‘s001‘,‘S_No‘,‘2015001‘ put ‘Student‘,‘s001‘,‘S_Name‘,‘Zhangsan‘ put ‘Student‘,‘s001‘,‘S_Sex‘,‘male‘ put ‘Student‘,‘s001‘,‘S_Age‘,‘23‘ put ‘Student‘,‘s002‘,‘S_No‘,‘2015003‘ put ‘Student‘,‘s002‘,‘S_Name‘,‘Mary‘ put ‘Student‘,‘s002‘,‘S_Sex‘,‘female‘ put ‘Student‘,‘...

记一次OGG数据写入HBase的丢失数据原因分析【代码】【图】

一、现象二、原因排查2.1 SparkStreaming程序排查2.2 Kafka数据验证2.3 查看OGG源码2.3.1 生成Kafka消息类2.3.2 Kafka配置类2.3.3 Kafka 消息发送类2.3.4 Kafka 分区获取方式三、结论一、现象目前我们的数据是通过OGG->Kafka->Spark Streaming->HBase。由于之前我们发现HBase的列表put无法保证顺序,因此改了程序,如果是在同一个SparkStreaming的批次里面对同一条数据进行操作,则写入HBase的数据时间戳就非常相近,只会差几毫秒,...