本章介绍用HBase存储、高效查询地理位置信息。Geohash空间索引考虑LBS应用中常见的两个问题：1）查找离某地最近的k个地点；2）查找某区域内地点。如果要用HBase实现高效查找，首先要考虑的是空间局部性（Spatial Locality），即位置上相近的点得物理存储在一起。最简单的地理位置数据由两个维度组成：经度X和纬度Y，那么相对应最简单的Rowkey也可以由X和Y组成。Rowkey的有序性决定了数据首先按照经度X排序，再按照纬度Y排序，这种方...
有人说过“让Hadoop开发像家庭作业一样简单”，容器技术的出现让这成为可能，可以用Docker封装HBase运行环境，通过统一的接口来运行。本文将介绍如何在十分钟内跑起你的HBase应用。首先，我们需要安装HBase集群来开发和测试，下载HBase源码运行单机版固然可以，前提是你已经安装配置好Java和Maven环境，或者你可以运行命令docker run -d --net=host tobegit3hub/standalone-hbase-0.94。这个命令会下载名为standalone-hbase-0.94的...
HBase在滴滴出行的应用场景和最佳实践 背景 对接业务类型 HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数据进行处理并产出结果，对任务完成的时间要求不是非常敏感，并且处理逻辑复杂，如天级别报表、安...
利用Eclipse进行HBase应用开发时，至少需要确定三个配置信息，如下表所示：#hbase config#HMaster服务部署主机及端口号hbase.master=hdp-wuyong:60010#Zookeeper端口号 hbase.zookeeper.property.clientPort=2181#Zookeeper服务部署主机信息 hbase.zookeeper.quorum=hdp-songjiang,hdp-lujunyi,hdp-wuyong我们将以上信息配置进hadoop.config.properties文件中，系统调用HBase接口方法之前，初始化加载此配置信息即可。对HBase配置信...
所谓RowKey行键生成器，是指通过软件工具制定行键生成策略，并可将策略信息保存成本地策略文件，待需要时再将本地策略文件序列化成行键生成策略对象，传入数据行信息后可自动生成RowKey行键。那么，为什么要设计这个行键生成器呢？最初的时候，我们有一个需求，要把Oracle中的若干大表数据导入到HBase中，那么这里就出现了一个问题：那么多表，每个表的RowKey生成规则都是不一样的，难道我们要为每个表都设计一个行键生成方法吗？！...
今天的主要来分析一下HBase的特点，提出一些真实的应用场景，利用HBase去解决应用中的效率问题；HBase特点概述HBase是google的Bigtable的开源实现，建立在HDFS上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase介于nosql和rdbms之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。因为底层是Hadoop所...
HRegion 当表的大小超过设置值的时候，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegion会保存一个表里某段连续的数据，从开始主键到结束主键，一张完整的表是保存在多个HRegion上面的。HMaster 管理HRegionServer，实现其负载均衡...
4.1概述HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。 HBase与传统数据库的区别数据类型上的区别，它把数据存储为未经解释的字符串 数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单表的主键查询。 存储模式，关系型数据库是采用行进行存储的，但是HBase是采用列存储的。 数据索引，HBase只有一个索引，就是行键。 数据维护，HBase中...
master高可用；如果 active master由于异常宕机，zookeeper会检测到该宕机时间，并通过一定机制选举出新的master 2.管理系统核心元数据：当前系统中正常工作的regionserver集合，保存系统元数据表hbase:meta所在额regionserver地址等等 3.参与regionserver宕机恢复：zookeeper通过心跳可以感知到regionserver是否宕机，并在宕机后通知master进行宕机处理 4.实现分布式表锁：hbase对表进行操作时需要先加锁，防止其他用户对同一张表...
NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。 目前大家基本认同将NoSQL数据库分为四大类：键值存储数据库，文档型数据库，列存储数据库和图形数据库，其中每一种类型的数据库都能够解决关系型数...
MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应 MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。 MVCC基本原理 在介绍MVCC概念之前，我们先来想一下数据库系统里的一个问题：假设有多个用户同时读写数据库里的一行记录，那么怎么保证数据的一致性呢？一个基本...
本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自 九翎 同学: 受众： 对HBase集群应用感兴趣的同学。 简介: 培训内容： 月光宝盒项目为了满足双11当天天猫所有会场坑位效果计算的需求，尝试对HBase集群进行了一系列的应用和优化，顺本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自九翎同学: 受众： 对HBase集群应用感兴趣的同学。 简介: 培训内容： 月光宝盒项目为了满足双11当天...
HBaseSpark分析引擎是云数据库HBase版提供的分析引擎，基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源，例如：云HBase数据库、MongoDB、Phoenix等，同时也支持对接云数据库POLARDB。POLARDB是阿里云自研的下一代关系型云数据库，100%兼容MySQL，性能最高是MySQL的6倍。本文主要介绍HBaseSpark分析引擎如何对接云数据库POLARDB。场景介绍POLARDB中经常会存储一些维度表信息，例如：用...
云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。 阿里云特别提供HBase产品化方案服务广大的中小型客户。 教学课程：云数据库HBase版使用教程 产品优势： 与其他厂商?HBase产业优...
1，概念 hbase 是一个可以建立在 hdfs 上的分布式 nosql 数据库。 hbase 有三种安装方式：单机，伪分布式，完全分布式。 单机 hbase：hbase 数据库的数据文件存在单一的一台设备上，使用的是该设备的文件系统。 伪分布式 hbase：hbase 数据库的数据文件存在一台设备构成的 hdfs 上，数据库分主从结构。 完全分布式 hbase：hbase 数据库的数据文件存在多台设备构成的 hdfs 上，数据库分主从结构。 2，...