好程序员大数据纪实：HBase知识点集中总结

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了好程序员大数据纪实：HBase知识点集中总结，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1805字，纯文字阅读大概需要3分钟。

内容图文

　　HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

　　与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

一、hbase的特性

　　1、hbase数据的终持久化存储是基于hsfs文件系统，存储容量几乎无限，可以随时在线扩容。

　　2、hbase的数据增删改查功能模块是分布式系统。

　　3、nosql数据库，表结构。

二、HBase的存储

　　HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。

　　1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile。

　　2. HLog File，HBase中WAL(Write Ahead Log) 的存储格式，物理上是Hadoop的Sequence File。

三、HBase工作机制

hbase工作机制详细解析：

　　1、hbase的整体工作机制是接受客户端发来的请求命令，从hdfs中读取表文件信息返回给客户端；

　　2、每个hbase服务器负责表文件中对应region区域，hdfs上表文件的存储也是分为每个region单独存储，每个region中又分为多个列族存储；

　　3、hbase集群中有两种角色，regionserver和master，regionserver负责响应客户端请求，读取表文件；

　　master负责监控regionserver的状态，以便及时处理掉线的regionserver，保证hbase集群正常运行;当一个region挂掉时，master会及时监控到，这里利用了zookeeper管理regionserver状态信息。

　　当一个master挂掉时，不会影响客户端查数据，但如果此时regionserver挂掉，master又不能及时监控到，便会影响数据查询;解决方法就是再设置一台master，一台active状态，一台standby状态用作备用，当active的master挂掉，standby的master将会变为active状态，监控regionserver。

　　4、master和zookeeper就组成了高可用。

　　大数据开发之路不易，大家且行且珍惜。好程序员为大家的学习保驾护航。

内容总结

以上是互联网集市为您收集整理的好程序员大数据纪实：HBase知识点集中总结全部内容，希望文章能够帮你解决好程序员大数据纪实：HBase知识点集中总结所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---