redo log 有什么作用？ mysql 为了提升性能不会把每次的修改都实时同步到磁盘，而是会先存到Boffer Pool(缓冲池)里头，把这个当作缓存来用。然后使用后台线程去做缓冲池和磁盘之间的同步。 那么问题来了，如果还没来的同步的时候宕机或断电了怎么办？还没来得及执行上面图中红色的操作。这样会导致丢部分已提交事务的修改信息！ 所以引入了redo log来记录已成功提交事务的修改信息，并且会把redo log持久化到磁盘，系统重启之后在读...
引言 照例，我们先来一个场景~面试官:"知道事务的四大特性么?"你:"懂，ACID嘛，原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)！"面试官:"你们是用mysql数据库吧，能简单说说innodb中怎么实现这四大特性的么？“你:"我只知道隔离性是怎么做的balabala~~"面试官:"还是回去等通知吧~" OK，回到正题。说到事务的四大特性原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（...
<mi>O</mi><mo stretchy="false">(</mo><mi>l</mi><mi>o</mi><msubsup><mi>g</mi><mn>2</mn><mi>n</mi></msubsup><mo stretchy="false">)</mo></math>" role="presentation" style="position: relative;">O(logn2)O(log2n)的复杂度内获取到相应数据。 虽然这是一个货真价实的索引，但是实际的数据库系统几乎没有使用二叉查找树或其进化品种红黑树（red-black tree）实现的，原因会在下文介绍。 二叉排序树 在介绍B树之前，先来看另...
mysql行级锁实现原理：1、InnoDB行锁是通过给索引项加锁来实现的，这一点mysql和oracle不同；2、InnoDB这种行级锁决定，只有通过索引条件来检索数据，才能使用行级锁，否则，直接使用表级锁。mysql行级锁实现原理：锁是在执行多线程时用于强行限定资源访问的同步机制，数据库锁根据锁的粒度可分为行级锁，表级锁和页级锁行级锁行级锁是mysql中粒度最细的一种锁机制，表示只对当前所操作的行进行加锁，行级锁发生冲突的概率很低，其...
第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系...
本篇文章给大家带来的内容是关于MySQL事务之ACID特性的实现原理的详细介绍（图文），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。事务是MySQL等关系型数据库区别于NoSQL的重要方面，是保证数据一致性的重要手段。本文将首先介绍MySQL事务相关的基础概念，然后介绍事务的ACID特性，并分析其实现原理。MySQL博大精深，文章疏漏之处在所难免，欢迎批评指正。一、基础概念事务（Transaction）是访问和更新数据库的...
MySQL索引背后的数据结构及算法原理一、定义索引定义：索引（Index）是帮助MySQL高效获取数据的数据结构。本质：索引是数据结构。二、B-Treem阶B-Tree满足以下条件：1、每个节点至多可以拥有m棵子树。2、根节点，只有至少有2个节点（要么极端情况，就是一棵树就一个根节点，单细胞生物，即是根，也是叶，也是树)。3、非根非叶的节点至少有的Ceil(m/2)个子树(Ceil表示向上取整，如5阶B树，每个节点至少有3个子树，也就是至少有3个叉...
Mysql的索引讨论在MySQL中，索引属于存储引擎级别的概念，不同存储引擎对索引的实现方式是不同的，本文主要讨论MyISAM和InnoDB两个存储引擎的索引实现方式。MyISAM索引实现MyISAM引擎使用B+Tree作为索引结构，叶节点的data域存放的是数据记录的地址。下图是MyISAM索引的原理图：这里设表一共有三列，假设我们以Col1为主键，则图8是一个MyISAM表的主索引（Primary key）示意。可以看出MyISAM的索引文件仅仅保存数据记录的地址。在My...
需要从一个数据库中的表GIS_WEICHAI_DATA_1S中的数据导入到另个一数据库的表GIS_WEICHAI_DATA_1S中，接下来为你讲解跨数据库查询并插入需要的朋友可以参考下工作中需要从一个数据库中的表GIS_WEICHAI_DATA_1S中的数据导入到另个一数据库的表GIS_WEICHAI_DATA_1S中，数据库服务器都是远程的！我的实现方法是在本地使用PL/SQL操作两个远程服务器，实现方式如下： 1． 为你需要操作的远程数据库服务器建立本地服务名： 在本地数据库安...
本文将详细介绍RAC cache fusion机制实现原理，需要了解更多的朋友可以参考下在单实例中，进程要想修改数据块，必须在数据块的当前版本（Currentcopy）上进行修改RAC环境也一样 这便涉及到一系列问题： 如何获得数据块的版本在集群节点间的分布图？ 如何知道哪个节点拥有的是当前版本？ 如何完成传递过程？ 这一系列问题的解决依靠内存融合技术（cachefusion） cachefusion通过高速的privateinterconnect，在实例间进行数据块传递 ...
Oracle对数据库数据文件（datafile）中的存储空间进行管理的单位是数据块（data block），本文将详细介绍下午在学习oracle 10g r2 concepts 在这留一笔。 Oracle对数据库数据文件（datafile）中的存储空间进行管理的单位是数据块（data block）。数据块是数据库中最小的（逻辑）数据单位。与数据块对应的，所有数据在操作系统级的最小物理存储单位是字节（byte）。每种操作系统都有一个被称为块容量（block size）的参数。Oracle每...
由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组 写一篇 MySQL 中 GROUP BY 的基本实现原理。 由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，，在GROUP BY 的实现过程中，与 ORDER BY 一样也...
腾讯互娱内部维护了一个MySQL分支，基于官方5.5.24，实现了类似于Oracle 11g的快速加字段功能，这个分支我们内部称为TMySQL。该功 腾讯互娱内部维护了一个MySQL分支，基于官方5.5.24，实现了类似于Oracle 11g的快速加字段功能，这个分支我们内部称为TMySQL。该功能通过扩展存储格式来实现，原理类似于Oracle 11g，以下介绍下其实现原理。 1. GCS行格式 需要在innodb中实现类似oracle的快速加字段功能，仅仅基于原来的行格式是不行的...
MR解析 Mapper/Reducer封装了应用程序的数据处理逻辑。 所有存储在底层分布式文件系统上的数据均要解释成key/value的形式。并交给MR中的map/reduce函数处理，产生另外一些key/value。 Mapper 1)初始化 Mapper继承了JobConfigurable接口。该config方法允许通MR解析 Mapper/Reducer封装了应用程序的数据处理逻辑。 所有存储在底层分布式文件系统上的数据均要解释成key/value的形式。并交给MR中的map/reduce函数处理，产生另外一些key...
OutputFormat 接口的设计与实现 主要用于描述输出数据的格式，它能够将用户提供的key/value对写入特定格式的文件中。 RecordWriter getRecordWriter(FileSystem ignored, JobConf job, String name, Progressable progress) throws IOException; void checkOOutputFormat接口的设计与实现 主要用于描述输出数据的格式，它能够将用户提供的key/value对写入特定格式的文件中。RecordWriter getRecordWriter(FileSystem ignored, JobC...