董西成的书，非常不错。买了有一段时间了，最近才有时间好好观摩一下，而且我们的hadoop集群也是在0.20的版本，还是比较适合的，而且这本书也介绍了部分1.0和2.0的MR框架，是很不错的学习资料。买本书吧，支持一下董大侠。也不贵，打完折页才40多吧。尤其最董西成的书，非常不错。买了有一段时间了，最近才有时间好好观摩一下，而且我们的hadoop集群也是在0.20的版本，还是比较适合的，而且这本书也介绍了部分1.0和2.0的MR框架，是...
作业配置与提交 1.hadoop配置原理 包括系统默认配置和管理员自定义配置。 系统默认为:core-default.xml,hdfs-default.xml,mapred-default.xml，它们包含了所有可配置属性的默认值。 管理员自定义：core-site.xml,hdfs-site.xml,mapred-site.xml,主要用于定义作业配置与提交 1.hadoop配置原理 包括系统默认配置和管理员自定义配置。 系统默认为:core-default.xml,hdfs-default.xml,mapred-default.xml，它们包含了所有可配置属性的默...
接上一篇： MySQL 中 GROUP BY 基本实现原理 DISTINCT 实际上和 GROUP BY 操作的实现非常相似，只不过是在 GROUP BY 之后的每组中只取出一条记录而已。所以，DISTINCT 的实现和 GROUP BY 的实现也基本差不多，没有太大的区别。同样可以通过松散索引扫描或者接上一篇： MySQL 中 GROUP BY 基本实现原理DISTINCT 实际上和 GROUP BY 操作的实现非常相似，只不过是在 GROUP BY 之后的每组中只取出一条记录而已。所以，DISTINCT 的实现和...
在 MySQL 中，只有一种 Join 算法，就是大名鼎鼎的 Nested Loop Join，他没有其他很多数据库所提供的 Hash Join，也没有 Sort Merge Join。顾名思义，Nested Loop Join 实际上就是通过驱动表的结果集作为循环基础数据，然后一条一条的通过该结果集中的数据作在 MySQL 中，只有一种 Join 算法，就是大名鼎鼎的 Nested Loop Join，他没有其他很多数据库所提供的 Hash Join，也没有 Sort Merge Join。顾名思义，Nested Loop Join 实际...
由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，在GROUP BY 的实现过程中，与 ORDER BY 一样也可以 由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那...
数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。 在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据 数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特...
第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据 第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于...
MVCC背景：MySQL事务默认使用REPEATABLE READ(可重复读)隔离级别。该隔离级别还是会产生幻读问题。即当某个事务读取某个范围的记录时，另外一个事物在该范围插入了新的记录，那么之前的事务再次读取该范围的记录时，会产生幻行。MySQL InnoDB就是通过多版本并发控制(MVCC)解决幻读问题。MVCC简介：MVCC将数据库的行锁与行的多个版本结合起来,只需要很小的开销,就可以实现非锁定读,从而大大提高数据库系统的并发性能.MVCC实现原理：...
mysql组合索引索引 在网络上看到资料了解到 mysql 的索引使用 B-tree 实现的，使用关键字来存储索引的列。单列的索引是使用一个 B-tree 的方式实现的。但是，网上的大多资料都没有提及，组合索引的具体实现。我个人猜测组合索引也是使用一个 B-tree 来实现，其中关键字同时存储的是多个列的。B-tree 根据多个列进行排序。这样正好可以很好地解释“最左前缀”。不知道我的猜测是否正确？！！！
总的来说，在 MySQL 中的ORDER BY有两种排序实现方式，一种是利用有序索引获取有序数据，另一种则是通过相应的排序算法，将取得的数据在内存中进行排序。下面将通过实例分析两种排序实现方式及实现图解：假设有 Table A 和 B 两个表结构分别如下：1 sky@localhost : example 01:48:21> show create table A\G2 3 *************************** 1. row ***************************4 5 Table: A6 7 Create Table: CR...
由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，在GROUP BY 的实现过程中，与 ORDER BY 一样也可以利用到索引。在 MySQL 中，GROUP BY 的实现同样有多种(三种)方式，其中有两种方式会利用现有的索引信息来完成 GROUP BY，另外一种为完全无法使用索引的场景下使用。下面我们分...
在MySQL 中，只有一种 Join 算法，就是大名鼎鼎的 Nested Loop Join，他没有其他很多数据库所提供的 Hash Join，也没有 Sort Merge Join。顾名思义，Nested Loop Join 实际上就是通过驱动表的结果集作为循环基础数据，然后一条一条的通过该结果集中的数据作为过滤条件到下一个表中查询数据，然后合并结果。如果还有第三个参与 Join，则再通过前两个表的 Join 结果集作为循环基础数据，再一次通过循环查询条件到第三个表中查询数据，...
由于GROUP BY 实际上也同样会进行排序操作，而且与ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，在GROUP BY 的实现过程中，与 ORDER BY 一样也可以利用到索引。 在MySQL 中，GROUP BY 的实现同样有多种(三种)方式，其中有两种方式会利用现有的索引信息来完成 GROUP BY，另外一种为完全无法使用索引的场景下使用。下面我们...
下面将通过实例分析两种排序实现方式及实现图解： 假设有 Table A 和 B 两个表结构分别如下：1 sky@localhost : example 01:48:21> show create table AG2 3 *************************** 1. row ***************************4 5 Table: A6 7 Create Table: CREATE TABLE `A` (8 9 `c1` int(11) NOT NULL default 0,10 11 `c2` char(2) default NULL,12 13 `c3` varchar(16) default N...
bitsCN.comMySQL密码验证实现原理 这篇文章可以帮助您深入理解MySQL是如何进行密码验证的。 首先，我们知道，用户密码是保存在mysql.user这个表的password列，并且是以hash值的形式加密保存的。 整个验证过程如下：当客户端请求连接时， 1.服务器端会随机生成一个random string发送给客户端； 2.客户端收到random string后，进行hash加密 第一步，将密码hash，得到hash值hash_stage1; eg.hash_stage1=sha1("password"); ...