MySQLexplain bitsCN.commysql调优三步曲(慢查询、explain profile) 在做性能测试中经常会遇到一些sql的问题，其实做性能测试这几年遇到问题最多还是数据库这块，要么就是IO高要么就是cpu高，所以对数据的优化在性能测试过程中占据着很重要的地方，下面我就介绍一些msyql性能调优过程中经常用到的三件利器： 1、慢查询 （分析出现出问题的sql） 2、Explain （显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好...
前情提要 ： 需求就是一个普通的两个表连接从而查询出详细信息。其中A表是大表， 测试数据都有数万条； B表是小表大概1000多条数据。 1. 为了赶工写出的未优化SQL(为突出主题， 返回字段用 * 代替不写出详细字段， WHERE条件也去掉了)：SELECT *FROMA a LEFT JOINB b ON a.JOB_ID = b.ID 耗时：3.712srows字段代表这个步骤相对上一步结果每一行需要扫描的行数，可以看到这个sql需要扫描的行数为22711*1230， 这几乎是两个表做...
1. IO处理过程磁盘IO经常会成为系统的一个瓶颈，特别是对于运行数据库的系统而言。数据从磁盘读取到内存，在到CPU缓存和寄存器，然后进行处理，最后写回磁盘，中间要经过很多的过程，下图是一个以write为例的 Linux 磁盘IO子系统的架构：可以看到IO操作分成了四个层面：1）文件系统缓存：处理数据必须先从磁盘读到缓存，然后修改，然后刷会磁盘。缓存的刷新涉及到两个参数：vm.dirty_background_ratio、vm.dirty_ratio。还有刷新写...
进程的运行，必须使用内存。下图是Linux中进程中的内存的分布图：其中最重要的 heap segment 和 stack segment。其它内存段基本是大小固定的。注意stack是向低地址增长的，和heap相反。另外进程的内存地址从0开始，是因为使用的是虚拟内存。所以存在虚拟内存到物理内存的映射。目前服务器一般都是64位的，32位的已经极少了，32为对内存有极大限制。1. Linux 虚拟内存Linux是通过虚拟内存的方式来管理内存的。虚拟内存和物理内存之间...
Linux的文件系统有点像MySQL的存储引擎，它支持各种各样的文件系统。它最上层是通过 virtual files system虚拟文件系统作为一个抽象接口层来对外提供调用的。然后下层的各种文件系统实现这些调用接口就行了。1. Linux 中的 日志文件系统和非日志文件系统文件内容的修改涉及到两部分：实际文件内容的修改 和 文件元(metadata)信息的修改。所以在修改一个成功之后，修改另一个之前，此时系统崩溃，就会导致两者的不一致。所以提出了日...
一般而言，MySQL 的调优可以分为两个层面，一个是在MySQL层面上进行的调优，比如SQL改写，索引的添加，MySQL各种参数的配置；另一个层面是从操作系统的层面和硬件的层面来进行调优。操作系统的层面的调优，一般要先定位到是那种资源出现瓶颈——CPU、 内存、硬盘、网络，然后入手调优。所以其实MySQL 的调优，其实不是那么简单，它要求我们对 硬件、OS、MySQL 三者都具有比较深入的理解。比如 NUMA 架构的CPU是如何分配C...
出现这个问题的原因在于 MySQL 每次查询只能使用一个索引， 而你的 SQL 语句 WHERE 条件和 ORDER BY 的条件不一样， 索引没建好的话， 那么 ORDER BY 就使用不到索引， 出现了 Using filesort 问题。解决这个问题就是建立一个包含 WHERE 和 ORDER BY 条件的混合索引。比如原来 SQL 语句是： SELECT * FROM user u where u.id=100 order by u.update_time而索引是 idx_user_id(id)现在重新建立索引为 idx_user_id_update_time(id,u...
尽可能多的减少io量；（减少io次数，减少io量） 局部性原理： 数据和程序都有聚集成群的倾向，之前被查询过的数据可能会被再次查询。 磁盘预读： 在磁盘根内存进行交互的时候有一个很小的逻辑单元，称为页，datapages，页跟操作系统相关，一般情况下是4k或者8k，每次再进行数据交互的时候，一定读取的是页的整数倍。 mysql的innodb在进行数据读取的时候也是和页有关的，datapagesize 默认16kb。 索引是存在磁盘中的，但是会预先加载...
mysql调优 我的版本说在前面性能监控数据类型与schema优化(创建表阶段)执行计划插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入我的版本 5.7.32 说在前面 mysql的结构： 此文章只是使用 InnoDB存储引擎的场景。 性能监控...
目录 性能监控：使用profile 来查询运行性能 schema和数据类型优化： 1、数据类型的优化 2、合理使用范式和反范式 3、主键的选择 4，字符集的选择 5、存储引擎的选择 6、适当的数据冗余——是要join回降低查询速度 7、适当拆分-表中有的字段非常大，且不常用，可以拆分出去， 执行计划 通过索引进行优化 1，索引基本知识 2、mysql为啥采用b+数结构？ 3、myISAM和InnorDB都是b+树，但是有区别：性能监控：使用profile 来查询运行性...
Mysql调优 性能监控 使用show profile查询剖析工具，可以指定具体的type 此工具默认是禁用的，可以通过服务器变量在绘画级别动态的修改 set profiling=1; 当设置完成之后，在服务器上执行的所有语句，都会测量其耗费的时间和其他一些查询执行状态变更相关的数据。 select * from emp; 在mysql的命令行模式下只能显示两位小数的时间，可以使用如下命令查看具体的执行时间 show profiles; 执行如下命令可以查看详细的每个步骤的时间：...
MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。图 - MySQL查询过程 1.2 优化的哲学 优化有风险，涉足需谨慎 1.2.1 优化可能带来的问题 优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统。 优...
简介 show processlist显示这台MySQL正在连接的用户: mysql> show processlist; +----+------+-----------+-------+---------+------+----------+------------------+ | Id | User | Host | db | Command | Time | State | Info | +----+------+-----------+-------+---------+------+----------+------------------+ | 25 | root | localhost | mysql | Query | 0 | starting | show processlist | |...
第一次写博客，有漏洞的地方希望大佬指正 背景:优化公司老系统中的一条慢sql,查看执行过程如下:sql虽然比较简单，平时执行也没发现什么问题，但一到生产环境系统频繁调用，问题就显现出来了，整个系统停滞不前，打开Navicat的服务器监控发现里面出现好多执行中的sql甚至出现死锁查看knowledge_default_operation_log表发现数据10多万条，knowledge_base_info表1万多条，由第第一张图可以明显的看出knowledge_default_operation_log...
一、视图 1.1 视图的概念? 视图是基于一个表或多个表或视图的逻辑表，本身不包含数据，通过它可以对表里面的数据进行查询和修改。视图基于的表成为基表。视图是存储在数据字典里面的一条select语句。通过创建视图可以提取数据的逻辑上的集合或组合1.2 视图的优点1、对数据库的访问，因为视图可以有选择性的选取数据库里的一部分 2、可以把复杂的查询变得简单 3、维护数据的独立性，视图可以从多个表检索数据 4、对于相同的数据可以...