《HBase原理与实践》LSM树读书笔记
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了《HBase原理与实践》LSM树读书笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2881字，纯文字阅读大概需要5分钟。
内容图文
文章目录
一、简介
在大数据场景下，HBase的存储引擎选择的是LSM树（日志结构合并树Log-Structured Merge-Tree），LSM树会将写入操作处理为一次顺序写，HDFS擅长的正是顺序写。
- LSM树主要目标是快速建立索引
- LSM树通过磁盘的顺序写来实现最好的写性能
- LSM树的索引由两部分组成：一部分是内存部分，一部分是磁盘部分，内存部分一般采用跳跃表维护一个有序的Key-Value集合；磁盘部分一般由多个内部KeyValue有序的文件组成。
二、KeyValue 存储格式
- keyLen、valueLen、rowkeyLen、familyLen存储的都是各自的长度
- rowkeyBytes、familyBytes、qualifierBytes存储的分别是rowkey、列族、属性的值
- timestamp：表示timestamp对应的long值
- type：表示这个KeyValue操作的类型，HBase有Put、Delete、DeleteColumn、DeleteFamily等等，这表明LSM树内存储的不只是数据，而是每一次操作记录。
比较KeyValue大小：依次比较rowKeyBytes、familyBytes、qualifierBytes、timestamp（越大越靠前），即依次比较rowkey，列族，属性，时间戳。
LSM树的索引结构
一个LSM树主要由内存部分和磁盘部分构成，内存部分是一个ConcurrentSkipListMap，Key就是上文提到的key，value是一个字节数组。数据写入时先写入 MemStore，一旦内存占用超过一定阈值时，把内存部分数据导出，形成一个有序的数据文件，存储在磁盘上（Flush过程）。
flush时会先把当前写入的 MemStore 设为 Snapshot，不再允许新的写入操作写入这个 Snapshot 的 MemStore。另开一个内存空间作为 MemStore，让后面的数据写入。一旦 Snapshot 的 MemStore 写入完毕，对应的内存空间就可以释放。
注意
在数据写入过程中，LSM树全部都是磁盘的顺序写，磁盘的顺序写操作性能和延迟远好于磁盘随机写。因此LSM树是对写入极为友好的索引结构，能将磁盘的写入宽带利用到极致。
compact：优化读操作
随着数据的不断写入，内存中的数据也会不断刷写到磁盘中导致磁盘中的文件越来越多。如果这时候要读取数据的话，则需要将大量的磁盘文件进行多路归并，之后才能读到所需的数据（因为LSM树记录的是一个数据的操作，这个数据可能是增加、修改、删除操作，相同的key的数据中type可能不同，timestamp也不同，只有将他们全局综合起来，选出最合适的版本返回），因此磁盘文件越多，在读取的时候随机读的次数也越多，从而影响读操作的性能。
如何优化
设置一定策略将选中的多个 hfile 进行多路归并，合成一个文件
major compact
将所有的 hfile 一次性多路归并成一个文件。合并之后只有一个文件，这样读取性能最高；但是合并所有的文件可能需要很长的时间并消耗大量的IO宽带，因此major compact操作不宜频繁使用，适合周期性操作。
minor compact
只选中少数的hfile，多路归并为一个文件。好处就是进行局部的compact，通过少量的 IO 减少文件个数，提升读取操作的性能，适合高频率操作；缺点是只合并了局部数据，对于全局删除的数据，无法在合并中完全删除。然而 Major Compact 能完全清理 delete 操作，保证数据的最小化。
总结
LSM树的索引结构本质是将写入操作全部转化成磁盘的顺序写入，极大提高了写入操作的性能。但是如果需要读取数据的话，需要将磁盘中的 hfile 文件归并读取，这非常消耗IO资源。因此HBase中通过 Compaction 来降低文件个数，提高读取性能。由于HDFS只支持文件的顺序写，HDFS擅长的场景是存储大文件而非小文件，所以上层选择LSM树这种索引结构是最合适的。
内容总结
以上是互联网集市为您收集整理的《HBase原理与实践》LSM树读书笔记全部内容，希望文章能够帮你解决《HBase原理与实践》LSM树读书笔记所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。