优秀博文：MySQL索引背后的数据结构及算法原理B树、B-树、B+树、B*树【转】,mysql索引MySQL 和 B 树的那些事索引的本质MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。我们知道，数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找...
B树和B+树的区别1，B树的叶子节点和内节点存在的都是数据行的所有信息，B+树的内节点值存放键（索引）信息，数据都在叶子节点上。2，由于B树键和值的所有信息，所以每页的存储的数据行相对较少，随数据发展，该树发成为一个高瘦的树；相反，B+树的内节点只存放键值，所以会成为一个矮胖的树。所以就搜索而言，B+树的效率比B树的效率要高。3，B树的查询效率和所查的键在B树种的位置有关；而B+树的复杂度对于某个B+树来说是固定的。4...
我们可以通过打开general log，查看mysqldump全库备份时执行的命令来了解mysqldump背后的原理。 打开general logmysql> set global general_log=on;其中，general log的存放路径可通过以下命令查看mysql> show variables like ‘%general_log_file%‘; 执行全库备份# mysqldump --master-data=2 -R --single-transaction -A -phello > 3306_20160518.sql其中--master-data指定为2指的是会在备份文件中生成CHANGE MASTER的注释。具...
J2SE1.4以后， java 发布了新的IO类库，简称NIO。引入了全新的高效的IO机制，同时引入了基于Reactor设计模式的多路复用异步模式。 包含以下几种抽象数据类型 Channel(管道) NIO把它支持的IO对象抽象为channel。它模拟了通信连接，类似于IO中的stream。用户可J2SE1.4以后，java发布了新的IO类库，简称NIO。引入了全新的高效的IO机制，同时引入了基于Reactor设计模式的多路复用异步模式。
包含以下几种抽象数据类型
Channel(管道)
NI...
Java 网络编程 建立在TCP/IP协议基础上，致力于实现应用层。传输层向应用层提供了套接字Socket接口，它封装了下层的数据传输细节；应用层的程序通过Socket与远程主机建立连接和进行数据传输。 TCP TCP是Tranfer Control Protocol的 简称，是一种面向连接的保Java网络编程建立在TCP/IP协议基础上，致力于实现应用层。传输层向应用层提供了套接字Socket接口，它封装了下层的数据传输细节；应用层的程序通过Socket与远程主机建立连接和...
用户编写的作业比较复杂，相互之间存在依赖关系，这种依赖关系可以用有向图表示，我们称之为 工作流 。 1.JobControl实现原理： 传统做法：为每个作业创建相应的JobConf对象，并按照依赖关系依次(串行)提交各个作业。 //创建Job对象JobConf extractJobConf =用户编写的作业比较复杂，相互之间存在依赖关系，这种依赖关系可以用有向图表示，我们称之为工作流。
1.JobControl实现原理：
传统做法：为每个作业创建相应的JobConf对象，...
hadoop RPC 中用到的JDK开发工具包中的一些类。 主要包括java.lang. reflect 反射机制和动态代理相关类。java.net网络编程库,java.nio（NIO） 1.java反射机制和动态代理 反射机制是java语言的一个重要特性，它允许用户动态获取类的信息和动态调用对象的方法hadoop RPC中用到的JDK开发工具包中的一些类。
主要包括java.lang.reflect反射机制和动态代理相关类。java.net网络编程库,java.nio（NIO）
1.java反射机制和动态代理
反射机制...
网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信（IPC）。是所有分布式系统的基网络通信模块是分布式系统中最底层的模块。直接支撑了上层分布式环境下复杂的进程间通信（IPC）。是所有分布式系统的基础。远程过程调用RPC是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另外一台计算机的子程序，同时将网络的通信细节隐藏起来。
hadoop RPC特点
1.透明性
当用户在一台计算...
在数据库教程设计时必须注意时间字段为int(11)这样，保存在数据库的是一个数字型日期时间戳，我们可以用mktime函数求出当前日期的时间戳进行加减就OK了，下面看实例 //一个月 代码如下:$lastMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-1,date(‘d),date(‘y)); $where .= ” dtime > $lastMonth”; //三个月 代码如下:$lastThreeMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-3,date(‘d),date(‘y));...
在数据库教程设计时必须注意时间字段为int(11)这样，保存在数据库的是一个数字型日期时间戳，我们可以用mktime函数求出当前日期的时间戳进行加减就OK了，下面看实例 //一个月 代码如下:$lastMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-1,date(‘d),date(‘y)); $where .= ” dtime > $lastMonth”; //三个月 代码如下:$lastThreeMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-3,date(‘d),date(‘y));...
在数据库教程设计时必须注意时间字段为int(11)这样，保存在数据库的是一个数字型日期时间戳，我们可以用mktime函数求出当前日期的时间戳进行加减就OK了，下面看实例 //一个月 代码如下:$lastMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-1,date(‘d),date(‘y)); $where .= ” dtime > $lastMonth”; //三个月 代码如下:$lastThreeMonth = mktime(date(‘h),date(‘i),date(‘s),date(‘m)-3,date(‘d),date(‘y));...
，coordinator线程主要负责以前两部分的内容：若判断可以并行执行，那么选择worker线程执行事务的二进制日志
若判断不可以并行执行，如该操作是DDL，亦或者是事务跨schema操作，则等待所有的worker线程执行完成之后，再执行当前的日志这意味着 coordinator线程并不是仅将日志发送给worker线程，自己也可以回放日志，但是所有可以并行的操作交付由worker线程完成。coordinator线程与worker是典型的生产者与消费者模型。
（疑问：这里...
mysql 5.6 binlog组提交实现原理http://blog.itpub.net/15480802/viewspace-1411356
Redo组提交
Redo提交流程大致如下
lock log->mutex
write redo log buffer to disk
unlock log->mutex
fsync
Fsync写磁盘耗时较长且不占用log->mutex，也就是其执行期间其他线程可以write log buffer；
假定一次fsync需要10ms，而写buffer只需要1ms，则fsync执行期间最多可以有10条redo record写入buffer，则下次调用fsync时可一次性写10条记录...
Mysql索引实现：B-tree，B是balance，一般用于数据库的索引。使用B-tree结构可以显著减少定位记录时所经历的中间过程，从而加快存取速度。而B+tree是B-tree的一个变种，MySQL就普遍使用B+tree实现其索引结构。 一般来说，索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储的磁盘上。这样的话，索引查找过程中就要产生磁盘I/O消耗，相对于内存存取，I/O存取的消耗要高几个数量级，所以评价一个数据结构...
1、三个线程
MYSQL复制是从主服务器复制到一个或多个从服务器的异步过程，在主服务器与从服务器之间实现整个复制过程主要由三个线程来实现，其中一个线程I\O在主服务器器端，另两个线程（SQL线程和I\O线程）在从服务器端
2、实现过程
首先要在主服务器上打开MySQL的Binary Log（产生二进制日志文件），因为整个复制过程实际上就是从服务器从主服务器端获取该日志，然后在自身上将二进制文件解析为SQL语句并完全顺序地执行SQL语句 所...
bitsCN.com
MySQL密码验证实现原理 这篇文章可以帮助您深入理解MySQL是如何进行密码验证的。 首先，我们知道，用户密码是保存在mysql.user这个表的password列，并且是以hash值的形式加密保存的。 整个验证过程如下：当客户端请求连接时， 1.服务器端会随机生成一个random string发送给客户端； 2.客户端收到random string后，进行hash加密 第一步，将密码hash，得到hash值hash_stage1; eg.hash_stage1=sha1("password"); 第二步，二次hash，得到hash_stage2; eg. hash_stage2=sha1(hash_stage1); 第三步，将密码二次hash得到的值与random string进行hash，得到hash_stage3; eg. hash_stage3=sha1("random string",hash_stage2); 第四步，异或处理准备发送给服务器端，得到reply=xor(hash_stage1,hash_stage3); 最后，将reply的值发送给服务器端。 3.服务器端收到reply后同样进行hash运算 第一步，将保存的hash形式的密码hashpassword与random string进行hash，得到server_hash_stage1=sha1("random string","hashpassword"); 第二步，将客户端发送的reply与刚才得到的hash值进行异或运算，得到xor_value； eg. xor_value=xor(reply,server_hash_stage1); 第三步，将得到的异或值进行hash，得到server_hash_stage2； eg. server_hash_stage2=sha1(server_hash_stage1); 第四步，验证，将最后得到的hash值server_hash_stage2与保存的密码hashpassword进行比较。eg. server_hash_stage2==hashpassword，相等则验证通过。 作者 sissiyinxi bitsCN.com