HBASE - 技术教程文章

云栖大会之HBase多模式的机遇与挑战【图】

什么是Apache HBaseHadoop Database,是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。松散表结构(Schema free)原生海量数据分布式存储随机查询、范围查询高吞吐,低延迟在线分布式数据库多版本,增量导入,多维删除ApsaraDB HBase Platform平台架构平台优势 Item ApsaraDB ForHBase (Aliyun Product) ApacheHBase(Software)BasicHigh availability 99.9%~ 99.99%N/AData reliability99.9999999...

HBase实践 | 使用Spark分析云HBase的数据【图】

云HBase具有很好的在线入库和查询能力,不过在分析上面有比较大的欠缺,这篇文章主要介绍如何使用Spark对云HBase中数据做复杂分析。1 云HBase查询分析的现状HBase原生API:HBase原生API适合基于row key做点查,这个是HBase最擅长的查询场景Phoenix:Phoenix作为HBase的SQL层,使用二级索引的技术,擅长多条件组合查询;Phoenix没有自己的计算资源,类似groupby这样的复杂查询需要借助HBase的协处理器来完成,这样一方面性能不好,同...

HBase分享 | HBase生态实践【图】

活动介绍本期沙龙以“HBase生态实践”为主题,是HBase的技术盛宴。我们邀请到了国内HBase圈子的众多大咖,对于关注这个领域的同学是个非常好的认识和建交机会,我们也非常欢迎大家一起加入探讨HBase技术,畅谈HBase那些事儿。有近200名的HBase开发者和爱好者现场参与了本次活动,聆听互联网大咖解构生态最佳实践,现场人气爆棚。下面小编就为大家整理了满满的干货,供各位回顾和学习使用。直播回顾https://yq.aliyun.com/live/883演...

HBase实战 | HBase在B站Saber平台的实践【图】

Saber平台建设之路标准化指标输出,通用指标模型设计HBase表存储指标明细数据RowKey设计准则:rowkey=指标列+时间列+存储粒度指标列:提供灵活的拼装规则,主要由指标ID+维度1+维度2...而针对移动端APP埋点上报的流数据质量,则可划分为:指标ID、维度枚举值、流数据ID、客户端版本号。PS:而维度枚举值的取值范围为(长度为2):01.一致性,02.完整性,03.唯一性,04.准确性,05.规范性,06到99.自定义。时间列:该列采用默认格式,...

HBase分享 | 基于HBase和Spark构建企业级数据处理平台【图】

摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。演讲嘉宾简介:李伟(花名:沐远),阿里云数据库技术专家。专注于大数据分布式计算和数据库领域,具有6年分布式开发经验,先后研发Spark及自主研发内存计算,目前为广大公有云用户提供专业的云HBase数据库及计算服务。以下内容根据演讲视频...

HBase分享 | 云HBase之OpenTSDB时序引擎压缩优化【图】

摘要:在中国HBase技术社区第十届MeetUp--HBase生态实践 (杭州站)上,阿里云技术专家郭泽晖为大家介绍了云HBase之时序引擎OpenTSDB的介绍及压缩优化,向大家展示了使用OpenTSDB所遇到的一些问题及优化方案,并对云OpenTSDB的集中使用模式进行了相应的介绍。本文根据演讲视频以及PPT整理而成。本文将主要围绕以下四个方面进行分享:OpenTSDB的介绍OpenTSDB的常见问题OpenTSDB的压缩优化云OpenTSDB的使用模式本文首先会对OpenTSD...

HBase优化 | 合理的使用编码压缩

为什么要讨论HBase编码压缩编码+压缩能够成倍的减少数据的磁盘占用空间,节省可观的存储费用编码+压缩通常情况下可以提高系统吞吐率,让系统可以做更多的功能默认建表不启用编码或者压缩,对初学者不友好了解HBase编码举个栗子,我们有一张物流表叫"express",记录物流订单的流转详情。如下面表格:rowkey包含两个部分,用#号分割,左边是物流订单号,右边是物流信息的更新时间点。表包含两个列,一个物流状态,一个是物流描述信息...

HBase抗战总结|阿里巴巴HBase高可用8年抗战回忆录【图】

前言2011年毕玄和竹庄两位大神将HBase引入阿里技术体系,2014年接力棒转到东8区第一位HBase commiter天梧手中,多年来与淘宝、旺旺、菜鸟、支付宝、高德、大文娱、阿里妈妈等几乎全BU合作伙伴携手共进,支撑了双十一大屏、支付宝账单、支付宝风控、物流详情等核心业务。2018年双十一,HBase全天处理请求2.4万亿行,单集群吞吐达到千万级别。从一个婴儿成长为青年,阿里HBase摔过很多次,甚至头破血流,我们在客户的信任之下幸运的...

HBase方案 | 基于Lindorm的互联网账单解决方案【图】

一.背景不管是对于传统行业还是对于互联网行业,交易订单数据的存储需求由来已久,比如笔者最初所处的民航业,其CRS系统(代理人机票售票系统)存储了旅客的订座记录;又如各类银行需要存储广大储户在其系统内的支取和存入的流水记录;再如电子商务/第三方支付平台,广大网民的网购、缴费、理财、充值等交易行为的记录也需要保存。交易性质的数据往往有较强的事务需求,比如电商系统中交易数据的存储会有多张表,表与表之间的数据需...