首页 / MYSQL / MySQL的词法分析纵谈

MySQL的词法分析纵谈

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL的词法分析纵谈，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4882字，纯文字阅读大概需要7分钟。

内容图文

MySQL的词法分析漫谈
这个链接上有点介绍，可以了解个大概：http://blog.imaginea.com/mysql-query-parsing/

关键点：
1. SQL解析包括语法分析器和词法分析器。
简便的做法是用bison/flex组合。不过MySQL的词法分析器是手工打造的。
语法分析器的入口函数是MYSQLparse，词法分析器的入口函数是MYSQLlex。
2. 词法分析中会检查token是否为关键字。
最直接的做法是弄个大的关键字数组，进行折半查找。MySQL在此做了些优化。
本文主要介绍的是这一部分。

考虑到关键字是一个只读的列表，对它做一个只读的查找树可以改善查找的性能。
产生查找树：
1. 读取关键字数组，产生一个Trie树。
2. 调整这棵树，并产生一个数组（也就是一个不用链表表示的树）。

使用查找树：
这个比较简单，直接看函数get_hash_symbol好了。

产生查找树，相关的Makefile规则：
In `sql/CMakeFiles/sql.dir/build.make':

sql/lex_hash.h: sql/gen_lex_hash
$(CMAKE_COMMAND) -E cmake_progress_report /home/zedware/Workspace/mysql/CMakeFiles $(CMAKE_PROGRESS_153)
@$(CMAKE_COMMAND) -E cmake_echo_color --switch=$(COLOR) --blue --bold "Generating lex_hash.h"
cd /home/zedware/Workspace/mysql/sql && ./gen_lex_hash > lex_hash.h

容易发现，最主要的函数就是`get_hash_symbol'，它主要的调用关系为：

/* sql/lex_hash.h */
get_hash_symbol->sql_functions_map
get_hash_symbol->symbols_map

/* sql/sql_lex.cc */
find_keyword->get_hash_symbol
is_keyword->get_hash_symbol
is_lex_native_function->get_hash_symbol

文件"gen_lex_hash.cc"注释中的树的示例：

+-----------+-+-+-+
| len |1|2|3|
+-----------+-+-+-+
|first_char |0|0|a|
|last_char |0|0|d|
|link |0|0|+|
|
V
+----------+-+-+-+--+
| 1 char|a|b|c|d |
+----------+-+-+-+--+
|first_char|d|0|0|0 |
|last_char |n|0|0|-1|
|link |+|0|0|+ |
| |
| V
| symbols[2] ( "DAY" )
V
+----------+--+-+-+-+-+-+-+-+-+-+--+
| 2 char|d |e|f|j|h|i|j|k|l|m|n |
+----------+--+-+-+-+-+-+-+-+-+-+--+
|first_char|0 |0|0|0|0|0|0|0|0|0|0 |
|last_char |-1|0|0|0|0|0|0|0|0|0|-1|
|link |+ |0|0|0|0|0|0|0|0|0|+ |
| |
V V
symbols[0] ( "ADD" ) symbols[1] ( "AND" )

如果你还记得Trie树，理解起来会容易一点。下面是不同的输入数组对应的树。
i=0

+-----------+-+--+
| len |1| 2|
+-----------+-+--+
|first_char |0|-1|
|last_char |0| 0|
|char_tails |0| x|
|ithis |0| 0|
|iresult |0| 0|
|
&&

static SYMBOL symbols[] = {
{ "&&", SYM(AND_AND_SYM)},

static uchar symbols_map[8]= {
0, 0, 1, 0, <=== 1 == symbols[]数组的元素个数，表示没找到
0, 0, 0, 0, <=== symbols[0]
};

i=1

+-----------+--+--+
| len | 1| 2|
+-----------+--+--+
|first_char |-1|-1|
|last_char | 0| 0|
|char_tails | x| x|
|ithis | 0| 0|
|iresult | 1| 0|
| |
< &&

static SYMBOL symbols[] = {
{ "&&", SYM(AND_AND_SYM)},
{ "<", SYM(LT)},

static uchar symbols_map[8]= {
0, 0, 1, 0, <=== 1 < symbols[]数组的元素个数2，戫示找到的就是symbols[1]
0, 0, 0, 0, <=== symbols[0]
};

i=2

+-----------+--+--+
| len | 1| 2|
+-----------+--+--+
|first_char |-1| &|
|last_char | 0| <|
|char_tails | x| ^|
|ithis | 0| 0|
|iresult | 1| x|
| |
< |
|
+----------+--+--+ +--+
| 1 char| &| |...| <|
+----------+--+--+ +--+
|first_char|-1| 0| |-1|
|last_char | 0| 0| | 0|
|char_tails| 0| 0| | x|
|ithis | 0| 0| | 0|
|iresult | 0| 0| | 2|
| |
&& <=

static SYMBOL symbols[] = {
{ "&&", SYM(AND_AND_SYM)},
{ "<", SYM(LT)},
{ "<=", SYM(LE)},

static uchar symbols_map[100]= {
0, 0, 1, 0,
'&', '<', 2, 0,
0, 0, 0, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 3, 0,
0, 0, 2, 0,
};

i=3

+-----------+--+--+
| len | 1| 2|
+-----------+--+--+
|first_char |-1| &|
|last_char | 0| <|
|char_tails | x| ^|
|ithis | 0| 0|
|iresult | 1| x|
| |
< |
|
+----------+--+--+ +--+
| 1 char| &| |...| <|
+----------+--+--+ +--+
|first_char|-1| 0| |-1|
|last_char | 0| 0| | 0|
|char_tails| 0| 0| | x|
|ithis | 0| 0| | 0|
|iresult | 0| 0| | p|
| |
&& |
|
+----------+--+--+
| 2 char| =| >|
+----------+--+--+
|first_char|-1|-1|
|last_char | 0| 0|
|char_tails| x| x|
|ithis | 0| 0|
|iresult | 2| 3|
| |
<= <>

static SYMBOL symbols[] = {
{ "&&", SYM(AND_AND_SYM)},
{ "<", SYM(LT)},
{ "<=", SYM(LE)},
{ "<>", SYM(NE)},

static uchar symbols_map[108]= {
0, 0, 1, 0,
'&', '<', 2, 0,
0, 0, 0, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
0, 0, 4, 0,
'=', '>', 25, 0,
0, 0, 2, 0,
0, 0, 3, 0,
};

可以看到，数组表示中存在一定的空间浪费。要是不怕麻烦，我们还可以去榨出一点油水来。

内容总结

以上是互联网集市为您收集整理的MySQL的词法分析纵谈全部内容，希望文章能够帮你解决MySQL的词法分析纵谈所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/557209.html

来源：【匿名】

【上一篇】运维高级工程师必备之MySQL数据的主从复制、半同步复制和主主复【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【MySQL的词法分析纵谈】教程文章相关的互联网学习教程文章

mysqlsla 分析mysql慢查询日志

发现有一个工具mysqlsla，分析查询日志比 mysqldumpslow分析的会更清晰明了！安装mysqlsla：下载mysqlsla-2.03.tar.gz[root@yoon export]# tar -xvf mysqlsla-2.03.tar.gz[root@yoon export]# yum install *DBI*[root@yoon mysqlsla-2.03]# perl Makefile.PLCan‘t locate Time/HiRes.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/...

MySql按指定天数进行分组数据统计分析 2【代码】【图】

上次的随笔1中写的分组方式，经分析，是从前往后进行分组，即若选择2014的数据进行统计每11天为一组的话，1的分组方式，按照2014-01-01——2014-01-11为一组，之后每11天为一组。但如果想按以最近11天为一组的话，就要使用下面的SQL进行查询，SQL中的关键是groupNum的获取，YEAR(date)* 1000 为区分年份；( DAYOFYEAR(date)+ 11 - MOD(DAYOFYEAR(CURDATE()) ,11)) DIV 11 下划线部分为增加的偏移量，以满足按照最近11天进行分组注...

MySql 三大知识点，索引、锁、事务，原理分析【图】

1.索引索引，类似书籍的目录，可以根据目录的某个页码立即找到对应的内容。索引的优点：1. 天生排序，2. 快速查找。索引的缺点：1. 占用空间，2. 降低更新表的速度。注意点：小表使用全表扫描更快，中大表才使用索引。超级大表索引基本无效。索引从实现上说，分成 2 种：聚集索引和辅助索引（也叫二级索引或者非聚集索引）从功能上说，分为 6 种：普通索引，唯一索引，主键索引，复合索引，外键索引，全文索引。详细说说 6 种索引：...

MYSQL索引分析和优化设计方案

一、什么是索引？索引用来快速地寻找那些具有特定值的记录，所有MySQL索引都以B-树的形式保存。如果没有索引，执行查询时 MySQL必须从第一个记录开始扫描整个表的所有记录，直至找到符合要求的记录。表里面的记录数量越多，这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引，MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。如果表有1000个记录，通过索引查找记录至少要比顺序扫描记录快100倍。假设我们创建了...

[转]mysql索引结构原理、性能分析与优化

第一部分：基础知识索引官方介绍索引是帮助MySQL高效获取数据的数据结构。笔者理解索引相当于一本书的目录，通过目录就知道要的资料在哪里，不用一页一页查阅找出需要的资料。唯一索引(unique index) 强调唯一，就是索引值必须唯一。创建索引：create unique index 索引名 on 表名(列名);alter table 表名 add unique index 索引名 (列名);删除索引：drop index 索引名 on 表名;alter table 表名 drop index 索引名;主键主键就...

MySQL 多表查询实现分析【代码】

1、查看第一个表 mytable 的内容： mysql> select * from mytable; +----------+------+------------+-----------+ | name | sex | birth | birthaddr | +----------+------+------------+-----------+ | abccs |f | 1977-07-07 | china | | mary |f | 1978-12-12 | usa | | tom |m | 1970-09-02 | usa | +----------+------+------------+-----------+ 2、创建第二个表 title （包括作者、文章标题、发表日期）: mysql> create ta...

深入分析MySQL ERROR 1045 (28000)【图】

这几天在MySQL新建用户后，出现访问拒绝的问题，错误码为ERROR 1045(28000)。在网上搜索了很久，找到了很多解决办法，但很遗憾的是这么多办法没有一个能解决该问题。虽然出现的错误码28000很多人都遇到过，但原因也有所不同，有的是mysql.user表中没有信息，有的是root用户没有密码（那就不用密码登录），而使用mysql-5.6.19时，mysql.user有用户信息，root用户没有密码，采用的方法是root用户登录时输入空密码，登录成功。使用roo...

MYSQL数据表损坏的原因分析和修复方法小结(推荐)

1.表损坏的原因分析以下原因是导致mysql 表毁坏的常见原因： 1、服务器突然断电导致数据文件损坏。 2、强制关机，没有先关闭mysql 服务。 3、 mysqld 进程在写表时被杀掉。 4、使用myisamchk 的同时，mysqld 也在操作表。 5、磁盘故障。 6、服务器死机。 7、 mysql 本身的bug 。 2.表损坏的症状一个损坏的表的典型症状如下： 1 、当在从表中选择数据之时，你得到如下错误： Incorrect key file for table: ‘...‘. Try to ...

mysql优化--explain分析sql语句执行效率

Explain命令在解决数据库性能上是第一推荐使用命令，大部分的性能问题可以通过此命令来简单的解决，Explain可以用来查看SQL语句的执行效果，可以帮助选择更好的索引和优化查询语句，写出更好的优化语句。Explain语法：explain select … from … [where …]例如：explain select * from news;输出：+----+-------------+-------+-------+-------------------+---------+---------+-------+------| id | select_type | table | typ...

MySQL server has gone away报错原因分析/【代码】

在平时和开发的交流以及在论坛回答问题的或称中会发现这个问题被问及的频率非常高。程序中报错： MySQL server has gone away 是什么意思？如何避免？因此，感觉有必要总结一下发生这个问题的原因。今天正好看到一篇外文blog总结的比较好，就翻译过来了原文：http://ronaldbradford.com/blog/sqlstatehy000-general-error-2006-mysql-server-has-gone-away-2013-01-02/ 原因1. MySQL 服务宕了判断是否属于这个原因的方法很简单，...

向MySQL数据库插入数据出现乱码的情况分析【代码】【图】

（1）第一种情况在新建数据库时（2）第二种情况就是，IDE环境里面配置编码设置为UTF-8（3）第三种情况就是连接数据库时，没有设置编码。这个是最常规的。这个看起来很容易解决，但是需要注意MySQL版本的问题，比如说5.6版本链接URL设置编码的尾缀可能就是：?useOldAliasMetadataBehavior=true&useUnicode=true&CharsetEncode=utf8&useSSL=false；而之前的版本是：?useUnicode=true&characterEncoding=UTF-8。　　如果因为这种疏忽搞...

MySQL Order By Rand()效率分析

最近由于需要大概研究了一下MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablename ORDER BY RAND() LIMIT 1。但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中，仍然可以通过ORDER BY RAND()来实现随机。但是真正测试一下才发现这样效率...

mysql慢查询分析工具比较与实战【代码】

00 前言在进行mysql性能优化的时候，第一个想到的便是查看慢sql。但是对于慢sql有没有什么好的工具进行分析呢？推荐两个工具mysqldumpslow及pt-query-digest。mysqlslowdump较为简单，常用命令：#得到返回记录最多的20个sql mysqldumpslow -s r -t 20 slowSQl.log# 得到平均访问次数最多的20条sql mysqldumpslow -s ar -t 20 slowSQl.log 如果linux上没有安装mysqldumpslow，yum install安装下就行了。本文主要说下pt-query-digest...

kettle连接mysql数据库并进行数据分析【图】

1、数据库链接驱动如果没有安装对应的数据库链接驱动，在数据库链接的过程中，可能会报某个数据库连接找不到的异常，因此需要下载对应驱动后（安装步骤可以参见“怎么在官网上下载java连接mysql的驱动jar包？”），放入kettle的lib文件夹。2、建立转换本文中使用的kettle版本，启动Spoon.bat或者Spoon.sh脚本。在文件->新建装换。新建转换后在左边的主对象树中建立DB连接用以连接数据库。建立数据库连接的过程与其他数据库管理软件...

MySQL之架构简单分析【代码】【图】

上图为MySQL的简易架构图，给您有一个大概的概念，下面我将为您进行进一步的分析。连接器：当连接MySQL数据库时，等待的将是MySQL服务端的连接器；连接器的职责是和客户端建立连接、获取权限、维持和管理连接。客户端连接命令一般是如下所示（建议：不要在命令中显示添加登入密码）：mysql -h$ip -p$port -u$user-p$password查询缓存：建立完连接后，就可执行select语句。执行就会走向查询缓存。MySQL拿到这个查询请求后，就会先到...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / MySQL的词法分析纵谈

MySQL的词法分析纵谈

内容导读

内容图文

内容总结

内容备注

内容手机端

【MySQL的词法分析纵谈】教程文章相关的互联网学习教程文章

mysqlsla 分析mysql慢查询日志

MySql按指定天数进行分组数据统计分析 2【代码】【图】

MySql 三大知识点，索引、锁、事务，原理分析【图】

MYSQL索引分析和优化设计方案

[转]mysql索引结构原理、性能分析与优化

MySQL 多表查询实现分析【代码】

深入分析MySQL ERROR 1045 (28000)【图】

MYSQL数据表损坏的原因分析和修复方法小结(推荐)

mysql优化--explain分析sql语句执行效率

MySQL server has gone away报错原因分析/【代码】

向MySQL数据库插入数据出现乱码的情况分析【代码】【图】

MySQL Order By Rand()效率分析

mysql慢查询分析工具比较与实战【代码】

kettle连接mysql数据库并进行数据分析【图】

MySQL之架构简单分析【代码】【图】

MYSQL - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程