小记--------hbase数据库各组件应用及作用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了小记--------hbase数据库各组件应用及作用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2293字，纯文字阅读大概需要4分钟。

内容图文

master高可用；如果 active master由于异常宕机，zookeeper会检测到该宕机时间，并通过一定机制选举出新的master

2.管理系统核心元数据：当前系统中正常工作的regionserver集合，保存系统元数据表hbase:meta所在额regionserver地址等等

3.参与regionserver宕机恢复：zookeeper通过心跳可以感知到regionserver是否宕机，并在宕机后通知master进行宕机处理

4.实现分布式表锁：hbase对表进行操作时需要先加锁，防止其他用户对同一张表进行操作，造成表状态不一致；zookeeper可以通过特定机制实现分布式表锁

 

master：主要负责hbase系统的各种管理工作；

1.处理用户的各种管理请求；建表、修改表、切分表、数据合并、compaction

2.管理集群中所有regionserver；包括region的负载均衡，regionserver的宕机恢复，region的迁移

3.清理过期日志以及文件；会每隔一段时间检查hdfs中HLog是否过期、HFile是否已经被删除，并在过期后删除

 

RegionServer：（有几台机器就有几个regionserver）主要用来响应用户的IO请求。由WAL（HLog）、BlockCache、多个region构成

1.WAL（HLog）：HLog在hbase中有两个核心作用：

一、用于实现数据的高可靠性；hbase在数据写入时，会先写入缓存，再异步刷新到磁盘，为防止缓存数据丢失，数据写入缓存之前首先顺序写入HLog；这样的话即使数据丢失，仍然可以通过HLog恢复。

二、用于实现hbase集群见主从复制，通过回访主集群推送过来的HLog日志实现主从复制

        

2.BlockCache：hbase系统中读缓存，客户端从磁盘读取数据之后通常会将数据缓存到系统内存中，后续访问同一行数据可以直接从内存中获取而不需要访问磁盘

 

3.Region：region是集群负载均衡的基本单位。

一个region由一个或者多个store构成。

store的个数取决于表中列簇的个数，多少个列簇就有多少个store

每个store由一个memstore和一个或者多个HFile组成。MemStore称为写缓存，首先会写到Memstore中，当MemStore写满之后（缓存数据超过阈值，默认128M）系统会异步将数据flush成一个HFile文件，HFile文件数超过一定阈值之后系统将会执行Compact操作，将这些小文件通过一定策略合并成一个或多个大文件

 

HDFS：hbase底层依赖hdfs组件存储时间数据，包括用户数据文件、HLog日志文件等最终都会写入hdfs落到磁盘。hdfs数据默认3副本存储策略可以有效保证数据的高可靠性。hbase内部封装了一个名为HDFSClient的HDFS客户端组件，负责对HDFS的实际数据进行读写访问

小记--------hbase数据库各组件应用及作用

标签：应用   mil   客户端   作用   strong   client   active   dfsclient   读取数据   

本文系统来源：https://www.cnblogs.com/yzqyxq/p/12103297.html

内容总结

以上是互联网集市为您收集整理的小记--------hbase数据库各组件应用及作用全部内容，希望文章能够帮你解决小记--------hbase数据库各组件应用及作用所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---