首页 / MYSQL / Mysql：小主键，大问题

Mysql：小主键，大问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Mysql：小主键，大问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5712字，纯文字阅读大概需要9分钟。

内容图文

今日格言：让一切回归原点，回归最初的为什么。

本篇讲解 Mysql 的主键问题，从为什么的角度来了解 Mysql 主键相关的知识，并拓展到主键的生成方案问题。再也不怕被问到 Mysql 时只知道 CRUD 了。

一、为什么需要主键

数据记录需具有唯一性(第一范式)
数据需要关联 join
数据库底层索引用于检索数据所需

以下废话连篇，可以直接跳过到下一节。

“信息是用来消除随机不定性的东西”（香农）。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。数据是反映客观事物属性的记录，是信息的具体表现形式。数据经过加工处理之后，就成为信息；而信息需要经过数字化转变成数据才能存储和传输。数据库就是用于存储数据记录的。既已如此，记录便是具有确定性(相对)的信息，其确定性即唯一性。我们得出第一条原因：

1.数据记录需具有唯一性

世界是由客观存在及其关系组成的。数据是数字化和模型化的存在关系。数据除了本身的描述价值外，其价值还在于其相互关联性。为实现关联的准确性，数据需要有对外相互关联的标识。所以体现在数据存储上，主键的第二作用，也是存在的第二因素即：

2.数据需要关联

数据用于描述客观实在的，本身没有意义。只有在根据主观需求组织之后，通过一定方式满足人认识事物的过程才具有了意义。所以数据需要被检索，被组织。则主键第三个作用：

3.数据库底层索引用于检索数据所需

二、为什么主键不宜过长

这个问题的点在长上。那短比长有什么优势？（嘿嘿嘿，内涵）—— 短不占空间。但这么点磁盘空间相对整个数据量来说微不足道，而且我们一般不怎么用到主键列。那么原因应该在快上，而且和原始数据关系不大。以此自然得出和索引相关，而且和索引读取相关。那么为什么长主键在索引中会影响性能？

Mysql：小主键，大问题 - 文章图片

上面是 Innodb 的索引数据结构。左边是聚簇索引，通过主键定位数据记录。右边是二级索引，对列数据做索引，通过列数据查找数据主键。如果通过二级索引查询数据，流程如图上所示，先从二级索引树上搜索到主键，然后在聚簇索引上通过主键搜索到数据行。其中二级索引的叶子节点是直接存储的主键值，而不是主键指针。所以如果主键太长，一个二级索引树所能存储的索引记录就会变少，这样在有限的索引缓冲中，需要读取磁盘的次数就会变多，所以性能就会下降。

三、为什么建议使用自增 ID

Mysql：小主键，大问题 - 文章图片

InnoDB 使用聚簇索引，如上图所示，数据记录本身被存于主索引（一颗 B+Tree）的叶子节点上。这就要求同一个叶子节点内（大小为一个内存页或磁盘页）的各条数据记录按主键顺序存放，因此每当有一条新的记录插入时，MySQL 会根据其主键将其插入适当的节点和位置，如果页面达到装载因子（InnoDB 默认为 15/16），则开辟一个新的页（节点）。

如果表使用自增主键，那么每次插入新的记录，记录就会顺序添加到当前索引节点的后续位置，当一页写满，就会自动开辟一个新的页。这样就会形成一个紧凑的索引结构，近似顺序填满。由于每次插入时也不需要移动已有数据，因此效率很高，也不会增加很多开销在维护索引上，如下图左侧所示。否则由于每次插入主键的值近似于随机，因此每次新记录都要被插到现有索引页的中间某个位置，MySQL 不得不为了将新记录插到合适位置而移动数据，如下图右侧所示，这样就造成了一定的开销。由于此，Mysql 为维护索引可能需要频繁的刷新缓冲，增加了方法磁盘 IO 的次数，而且时常需要对索引结构进行重组织。

Mysql：小主键，大问题 - 文章图片

四、业务 Key VS 逻辑 Key

业务 Key，即使用具有业务意义的 id 作为 Key，比如使用订单流水号作为订单表的主键 Key。逻辑 Key，即无关业务的 Key，按某种规则生成 Key，如自增 Key。

业务 Key 的优点

Key 具有业务意义，在查询时可以直接作为搜索关键字使用
不需要额外的列和索引空间
可以减少一些 join 操作。

业务 Key 的缺点

当业务发生变化时，有时需要变更主键
涉及多列 Key 时比较难操作
业务 Key 往往比较长，所占空间更大，导致更大的磁盘 IO
在 Key 确定前不能持久化数据，有时我们没有在确定数据 Key 时，就想先添加一条记录，之后再更新业务 Key
设计一个兼具易用和性能的 Key 生成方案比较难

逻辑 Key 的优点

不会因为业务的变动而需要修改 Key 逻辑
操作简单，且易于管理
逻辑 Key 往往更小，性能更优
逻辑 Key 更容易保证唯一性
更易于优化

逻辑 Key 缺点

查询主键列和主键索引需要额外的磁盘空间
在插入数据和更新数据时需要额外的 IO
更多的 join 可能
如果没有唯一性策略限制，容易出现重复的 Key
测试环境和正式环境 Key 不一致，不利于排查问题
Key 的值没有和数据关联，不符合三范式
不能用于搜索关键字
依赖不同数据库系统的具体实现，不利于底层数据库的替换

五、主键生成

一般情况下，我们都使用 Mysql 的自增 ID，来作为表的主键，这样简单，而且从上面讲到的来看，性能也是最好的。但是在分库分表的情况情况下，自增 ID 则不能满足需求。我们可以来看看不同数据库生成 ID 的方式，也看一些分布式 ID 生成方案。利于我们思考甚至实现自己的分布式 ID 生成服务。

数据库的实现

Mysql 自增

Mysql 在内存中维护一个自增计数器，每次访问 auto-increment 计数器的时候， InnoDB 都会加上一个名为AUTO-INC 锁直到该语句结束(注意锁只持有到语句结束,不是事务结束)。AUTO-INC 锁是一个特殊的表级别的锁，用来提升包含 auto_increment 列的并发插入性。

在分布式的情况下，其实可以独立一个服务和数据库来做 id 生成，依旧依赖 Mysql 的表 id 自增能力来为第三方服务统一生成 id。为性能考虑可以不同业务使用不同的表。

Mongodb ObjectId

Mongodb 为防止主键冲突，设计了一个 ObjectId 作为主键 id。它由一个 12 字节的十六进制数字组成，其中包含以下几部分：

Time：时间戳。4 字节。秒级。
Machine：机器标识。3 字节。一般是机器主机名的散列值，这样就确保了不同主机生成不同的机器 hash 值，确保在分布式中不造成冲突，同一台机器的值相同。
PID：进程 ID。2 字节。上面的 Machine 是为了确保在不同机器产生的 objectId 不冲突，而 pid 就是为了在同一台机器不同的 mongodb 进程产生的 objectId 不冲突。
INC：自增计数器。3 字节。前面的九个字节保证了一秒内不同机器不同进程生成的 objectId 不冲突，自增计数器，用来确保在同一秒内产生的 objectId 也不会发现冲突，允许 256 的 3 次方等于 16777216 条记录的唯一性。

Cassandra TimeUUID

Cassandra 使用下面规则生成一个唯一的 id：time + MAC + sequence

方案

Zookeeper 自增：通过 zk 的自增机制实现。
Redis 自增：通过 Redis 的自增机制实现。
UUID：使用 UUID 字符串作为 Key。
snowflake 算法：和 Mongodb 的实现类似，1位符号位 + 41位时间戳（毫秒级）+ 10位数据机器位 + 12位毫秒内的序列。

开源实现

百度 UidGenerator：基于snowflake算法。
美团 Leaf：同时实现了基于 Mysql 自增（优化）和 snowflake 算法的机制。

想了解更多数据存储相关知识，请关注我的公众号。

Mysql：小主键，大问题 - 文章图片

内容总结

以上是互联网集市为您收集整理的Mysql：小主键，大问题全部内容，希望文章能够帮你解决Mysql：小主键，大问题所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/874128.html

来源：【匿名】

【上一篇】MySQL存储引擎【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【Mysql：小主键，大问题】教程文章相关的互联网学习教程文章

Mysql让主键归0

1、Mysql 让主键归0:TRUNCATE table1;2、只清空数据表，主键不归0：DELETE FROM table1; 参考：https://www.csdn.net/gather_2d/MtTaMgxsMjcxMy1ibG9n.html原文：https://www.cnblogs.com/sea-stream/p/11297010.html

MySQL 主键与索引的联系与区别分析

关系数据库依赖于主键，它是数据库物理模式的基石。主键在物理层面上只有两个用途：惟一地标识一行。作为一个可以被外键有效引用的对象。索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，它们包含着对数据表里所有记录的引用指针。下面是主键和索引的一些区别与联系。 1. 主键一定是唯一性索引，唯一性索引并不一定就是主键。所谓主键就是能够唯一标识表中某一行的属性或属性组，一个表只能有一个主键，但可...

向Mysql主键自增长表中添加数据并返回主键

表level,其主键为lid1.select max(id) from table 　　查询语句：SELECT MAX(lid) FROM LEVEL　　　　　　　返回插入主键2.select LAST_INSERT_ID(id) from table　　查询语句：SELECT LAST_INSERT_ID(lid) FROM LEVEL;　　　　　　　返回主键列表，最后一个值为插入主键3.select @@identity from table　　查询语句：SELECT @@identity FROM level　　　　　　　返回n（表的行数）个主键，全为插入主键，取其中一个就行原文：htt...

MYSQL:基础—主键【代码】

MYSQL:基础—主键1.什么是主键　　表中的每一行都应该具有可以唯一标识自己的一列(或一组列)。而这个承担标识作用的列称为主键。　　如果没有主键，数据的管理将会十分混乱。比如会存在多条一模一样的记录，删除和修改特定行十分困难。2.那些列可以作为主键：　　任何列都可以作为主键，只要它满足以下条件：　　　　? 任何两行都不具有相同的主键值。就是说这列的值都是互不相同的。　　　　? 每个行都必须具有一个主...

mysql 查看所有没有主键的表

SELECT #CONCAT("truncate table ",table_name,";") table_name FROM information_schema. TABLESWHERE table_schema = ‘scdm‘AND TABLE_NAME NOT IN ( SELECT table_name FROM information_schema.table_constraints t JOIN information_schema.key_column_usage k USING ( constraint_name, table_schema, table_name ) WHERE t.constraint_type = ‘PRIMA...

sqoop从hive导入数据到mysql时出现主键冲突【代码】

今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引的，但是mysql的表一般在创建时就会指定主键，所以在把hive表中的数据导入mysql表的时候通常会使用...

mysql删除自增主键【代码】

在MySQL中删除主键需要两步.(1)如果有auto_increment，先删除之;(2)删除主键约束 primary key1、alter table table1 modify id int(11);mysql> desc table1; +-------+----------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+----------+------+-----+---------+----------------+ | id | int | NO | PRI | NULL | auto_increment | | name |...

MySQL里Create Index 能否创建主键 Primary Key

MySQL里Create Index 能否创建主键 Primary Key? 答案：不能，必须用 Alter table 创建。 MySQL一个索引列最大允许的有效长度，不是列的所有数据都被索引的MyISAM 是 1000字节 InnoDB 是 767 字节注意这里是字节。原文：http://www.jb51.net/article/18928.htm

javaweb学习总结(三十七)——获得MySQL数据库自动生成的主键【代码】

测试脚本如下：1createtable test1 2( 3 id intprimarykey auto_increment, 4 name varchar(20) 5 );　　测试代码： 1package me.gacl.demo;2 3import java.sql.Connection;4import java.sql.PreparedStatement;5import java.sql.ResultSet;6import me.gacl.utils.JdbcUtils;7 8publicclass Test {9publicstaticvoid main(String[] args) { 10 Connection conn = null; 11 PreparedStatement st = null;...

Mysql索引介绍及常见索引(主键索引、唯一索引、普通索引、全文索引、组合索引)的区别

Mysql各种索引区别：普通索引：最基本的索引，没有任何限制唯一索引：与"普通索引"类似，不同的就是：索引列的值必须唯一，但允许有空值。主键索引：它是一种特殊的唯一索引，不允许有空值。全文索引：仅可用于 MyISAM 表，针对较大的数据，生成全文索引很耗时好空间。组合索引：为了更多的提高mysql效率可建立组合索引，遵循”最左前缀“原则。 Mysql索引概念：说说Mysql索引，看到一个很少比如：索引就好比一本书的目录，它会...

删除没有主键的重复mysql行【代码】

嗨我有一个没有主键的mysql表,我需要删除重复的行.我怎么能这样做？user_id category_id 1 2 1 3 1 4 1 2 2 2 2 3 2 2解决方法:CREATE TABLE temp SELECT DISTINCT * FROM tablename;ALTER TABLE tablename RENAME junk;ALTER TABLE temp RENAME tablename;

详解innodb_index_stats导入数据时提示表主键冲突的错误

下面小编就为大家带来一篇innodb_index_stats导入备份数据时报错表主键冲突的解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧故障描述percona5.6，mysqldump全备份，导入备份数据时报错Duplicate entry hoc_log99-item_log_27-PRIMARY-n_diff_pfx01 for key PRIMARY故障原因查看了下这个主键应该是MySQL系统库下的系统表innodb_index_statsmysql> show create table innodb_index_stats\...

Redis学习之主键失效机制和LRU机制

一、Redis 的主键失效内部机制 Key失效机制有两种：消极方法（当访问该key的时候，判断Key是否过期，如果过期，删除key，并返回nil）积极方法（定时删除一部分失效的key）失效的内部表示 Redis内部使用一个dict来保存所有Key-Value对，使用expires来保存一、Redis 的主键失效内部机制 Key失效机制有两种：消极方法（当访问该key的时候，判断Key是否过期，如果过期，删除key，并返回nil）积极方法（定时删除一部分失效的key）失...

【PHP】MySQL获取插入数据的主键(自增加ID)

为防止主键冲突，设计DB的时候常常使用自增加（auto_increment 型）字段。因此插入数据前往往不知道改记录的主键是什么，为了方便后续或级联查询，我们需要在插入一行记录后获得DB自动生成的主键。这里稍微整理了下几种方法： DB中查询通用： SELECT max(id) FROM user; 这个方法的缺点是不适合高并发。如果同时插入的时候返回的值可能不准确。 MySQL： SELECT LAST_INSERT_ID(); 重点: 假如你使...

mysql下创建字段并设置主键的php代码_PHP教程

代码如下:mysql_select_db("hills_database_test",$dbcon); $alterpkadd="alter table hills_testcreatetable add id int(32) not null auto_increment primary key;"; mysql_query($alterpkadd,$dbcon); mysql_close($dbcon); 嘿嘿。。好容易哟。。一句话搞定http://www.bkjia.com/PHPjc/321900.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/321900.htmlTechArticle 代码如下:mysql_select_db("hills_database_test",$dbcon...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / Mysql：小主键，大问题

Mysql：小主键，大问题

内容导读

内容图文

一、为什么需要主键

二、为什么主键不宜过长

三、为什么建议使用自增 ID

四、业务 Key VS 逻辑 Key

业务 Key 的优点

业务 Key 的缺点

逻辑 Key 的优点

逻辑 Key 缺点

五、主键生成

数据库的实现

Mysql 自增

Mongodb ObjectId

Cassandra TimeUUID

方案

开源实现

推荐系列

内容总结

内容备注

内容手机端

【Mysql：小主键，大问题】教程文章相关的互联网学习教程文章

MYSQL - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程