HBase中MVCC的实现机制及应用情况
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了HBase中MVCC的实现机制及应用情况，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4803字，纯文字阅读大概需要7分钟。
内容图文
MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应
MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。
MVCC基本原理在介绍MVCC概念之前，我们先来想一下数据库系统里的一个问题：假设有多个用户同时读写数据库里的一行记录，那么怎么保证数据的一致性呢？一个基本的解决方法是对这一行记录加上一把锁，将不同用户对同一行记录的读写操作完全串行化执行，由于同一时刻只有一个用户在操作，因此一致性不存在问题。但是，它存在明显的性能问题：读会阻塞写，写也会阻塞读，整个数据库系统的并发性能将大打折扣。
MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，它的目标是在保证数据一致性的前提下，提供一种高并发的访问性能。在MVCC协议中，每个用户在连接数据库时看到的是一个具有一致性状态的镜像，每个事务在提交到数据库之前对其他用户均是不可见的。当事务需要更新数据时，不会直接覆盖以前的数据，而是生成一个新的版本的数据，因此一条数据会有多个版本存储，但是同一时刻只有最新的版本号是有效的。因此，读的时候就可以保证总是以当前时刻的版本的数据可以被读到，不论这条数据后来是否被修改或删除。
更多关于MVCC基本思想的介绍，参考Wikipedia。
一个MVCC实现类见org.apache.Hadoop.hbase.regionserver.MultiVersionConsistencyControl，用于控制Memstore中读写的一致性，其中维护两个long型的变量：
1）memstoreRead：用于记录当前全局可读的readPoint，同时为了每个客户端读请求能够记录自己发起请求时刻的readPoint，还有一个ThreadLocal的perThreadReadPoint变量，以及相关的set和get方法；
2）memstoreWrite：用于记录当前全局最大的writePoint，根据它为下个事务生成新的writePoint。
MultiVersionConsistencyControl中关键的实现方法如下：
1）WriteEntry beginMemstoreInsert()：开始一个更新操作，将memstoreWrite加1，创建writeQueue并插入到writeQueue，并返回WriteEntry对象；
2）void completeMemstoreInsert(WriteEntry e)：完成当前更新操作，将WriteEntry对象标记为可读，具体分两步：
见org.apache.hadoop.hbase.regionserver.HRegion.java，每个Region包含一个Memstore，维护一个MultiVersionConsistencyControl对象。
写操作见HRegion.java中的以下写操作的方法：
1）put
2）checkAndPut
3）delete
4）checkAndDelete
5）internalFlushcache
6）mutateRow
7）mutateRowsWithLocks
8）batchMutate
最终会调用到applyFamilyMapToMemstore方法使用MVCC进行写操作：
size = 0(localizedWriteEntry == (Map.Entry<+=
View Code
读操作HRegion.java中通过private ConcurrentHashMap<RegionScanner, Long> scannerReadPoints;维护各个查询请求的readPoint。
以get或scan请求为例，，最终会通过getScanner方法需要构造RegionScannerImpl对象：
org.apache.hadoop.hbase.regionserver.HRegion.RegionScannerImpl：
1）根据Scan对象构造时设置好readPoint，scan.getIsolationLevel()分为READ_UNCOMMITTED和READ_COMMITTED，只有当READ_COMMITTED时根据MultiVersionConsistencyControl.resetThreadReadPoint(mvcc);设置当前scanner线程的readPoint，并插入到scannerReadPoints维护起来。
2）根据scan需要读取的column family，创建StoreScanner（根据bloom filter、time range、ttl筛选需要的MemStoreScanner和StoreFileScanner），添加到scanners中，并最终根据scanners构造出一个KeyValueHeap。
下面看下RegionScannerImpl中的next方法是每次查询时需要调用的函数：
boolean org.apache.hadoop.hbase.regionserver.HRegion.RegionScannerImpl.next(List
而上述方法会通过KeyValueHeap的next方法读取下一条数据：先定位到当前KeyValueScanner（即之前构造KeyValueHeap时传入的MemStoreScanner或StoreScanner），然后调用next方法。
StoreFileScanner和MemStoreScanner均为KeyValueScanner，通过其中的next()接口方法，分别调用到StoreFileScanner.java的skipKVsNewerThanReadpoint方法、Memstore.java中MemStoreScanner对象的getNext方法。
1）StoreFileScanner.java的skipKVsNewerThanReadpoint方法：
protected boolean skipKVsNewerThanReadpoint() throws IOException { long readPoint = MultiVersionConsistencyControl.getThreadReadPoint(); // We want to ignore all key-values that are newer than our current (enforceMVCC && cur != null && (cur.getMemstoreTS() > readPoint)) { hfs.next(); cur = hfs.getKeyValue(); } if (cur == null) { close(); return false; } // For the optimisation in HBASE-4346, we set the KV's memstoreTS to // 0, if it is older than all the scanners' read points. It is possible // that a newer KV's memstoreTS was reset to 0. But, there is an // older KV which was not reset to 0 (because it was // not old enough during flush). Make sure that we set it correctly now, (cur.getMemstoreTS() <= readPoint) { cur.setMemstoreTS(0); } return true; }
View Code2） Memstore.java中MemStoreScanner对象的getNext方法：
内容总结
以上是互联网集市为您收集整理的HBase中MVCC的实现机制及应用情况全部内容，希望文章能够帮你解决HBase中MVCC的实现机制及应用情况所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。