首页 / MYSQL / mysql分表后如何分页(总共160个表1500万数据)

mysql分表后如何分页(总共160个表1500万数据)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了mysql分表后如何分页(总共160个表1500万数据)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3322字，纯文字阅读大概需要5分钟。

内容图文

mysql分表后，有160个表，有1500万数据，要怎么做分页列表？
之前是想用union all合并160个表的结果集。。但直接卡的数据都出不来。。
请问这里应该怎么做分页，谢谢~~~

回复讨论(解决方案)

你这是自己做的分表，那么分表条件是什么呢？
如果分页的结果不能通过分表条件框定范围，那你的分表是失败的

不是说不能用 union，而是 union 的不是全部，而是经分表条件筛选后的部分表

徐版主好~我表里的数据主要字段是URL地址，有1600个域名，我是根据域名分成了160个表。

我的sql语句是这样的 (字段不多且都有用就用的*号)：

我的sql语句是这样的 (字段不多且都有用就用的*号)：
select * from t1 union all select * from t2 union all select * from t3.....union all select * from t160

既然你是按域名分表的，那么也就是按域名检索了
所以可以想象到，如果一个域名不在否一个表中的话，那么这个表是不需要参与检索的
这样一来你的检索范围不就缩小了很多了吗？

当一个表中包含有若干个不同域名时，你需要建一个目录表，指明某一类域名在某个表中
检索时先查目录表，得到可能在哪些表中，然后再在这些表中查找

如果你使用 mysql 提供的分表功能，那么就要简单多了

这个域名和表名的对应关系我有做，但是现在打开这个分页列表，应该是所有表所有域名的数据，再分页，不是某部分域名或某部分表。

你这个有特殊排序条件吗？没有的话直接逐表读取所需数据就行了。

没排序，只要把所有数据列出来就好了，是160个表1500万数据都得弄出来做分页。。。逐表读取的话不行吧？！

要是整体的分页显示那就更简单了
1、每个表的记录数是已知的，应在每次发生变化时记录到目录表中
2、无论是否排序（如果排序只是表的次序不同）至多会 union 两个分表

如假定共3个分表，记录数分别为 90，120，80 总记录数为 290
设分页是每页显示40条，则
第1页表一的 1 到 40
第2页表一的 41 到 80
第3页表一的 81 到 90 + 表二的 1 到 30
第4页表二的 31 到 70
第5页表二的 71 到 110
第6页表二的 111 到 120 + 表三的 1 到 30
.....
计算起来非常简单

谢谢徐版主耐心回答。

内容总结

以上是互联网集市为您收集整理的mysql分表后如何分页(总共160个表1500万数据)全部内容，希望文章能够帮你解决mysql分表后如何分页(总共160个表1500万数据)所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/201787.html

来源：【匿名】

【上一篇】如何替换mysql数据库中A字段中符号啊【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【mysql分表后如何分页(总共160个表1500万数据)】教程文章相关的互联网学习教程文章

MySQL的LIMIT与分页优化

在系统中需要进行分页操作的时候，我们通常会使用LIMIT加上偏移量的办法实现，同时加上合适的ORDER BY子句。如果有对应的索引，通常效率会不错，否则，MySQL需要做大量的文件排序操作。一个非常常见又令人头疼的问题就是，在偏移量非常大的时候，例如可能是LIMIT 10000,20这样的查询，这时MySQL需要查询10020条记录后只返回最后20条，前面10000条记录都将被抛弃，这样的代价非常高。如果所有的页面被访问的频率都相同，那么这样的查...

MySQL单表百万数据记录分页性能优化【图】

转载自：http://www.cnblogs.com/lyroge/p/3837886.html#undefined，文章很不错。背景：自己的一个网站，由于单表的数据记录高达了一百万条，造成数据访问很慢，Google分析的后台经常报告超时，尤其是页码大的页面更是慢的不行。测试环境：先让我们熟悉下基本的sql语句，来查看下我们将要测试表的基本信息use infomation_schemaSELECT * FROM TABLES WHERE TABLE_SCHEMA = ‘dbname’ AND TABLE_NAME = ‘product’查询结果：从上图...

mysql优化limit分页【图】

原文：http://www.cnblogs.com/meibao/p/6237425.html

SqlServer、oracle、mysql分页的实现

我们在编写MIS系统和Web应用程序等系统时，都涉及到与数据库的交互，如果数据库中数据量很大的话，一次检索所有的记录，会占用系统很大的资源，因此我们常常采用，需要多少数据就只从数据库中取多少条记录，即采用分页语句。根据自己使用过的内容，把常见数据库Sql Server,Oracle和My sql的分页语句，从数据库表中的第M条数据开始取N条记录的语句总结如下：一、SQL Server 数据库从数据库表中的第M条记录开始取N条记...

mysql分页原理和高效率的mysql分页查询语句

这篇文章主要介绍了mysql分页原理和高效率的mysql分页查询语句,大家参考使用吧以前我在mysql中分页都是用的 limit 100000,20这样的方式，我相信你也是吧，但是要提高效率，让分页的代码效率更高一些，更快一些,那我们又该怎么做呢?第一部分：看一下分页的基本原理： mysql explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20***************** 1. row **************id: 1select_type: SIMPLEtable: messagetype:...

sql分页 sql server,oracle,db2,mysql

场景一（假设用户只会浏览前面数十页的情况）：思路：取出页大小*页数的数据，然后拿去 intStartIndex和intEndIndex直接的数据；优点：书写简单，通用，适用于用户只会浏览最初几页的情况缺点：如果数据量超过千万，读取最后几页时会很慢。【sql server】： select top 页大小*页数 * from table1 ; 获得数据，然后通过计算拿对应的数据。【oracle】： select * from (select TMP_TAB.*, rownum as RN from (select * from...

MySQL大数据量分页查询方法及其优化

---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千级)---原因/缺点: 全表扫描,速度会很慢且有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃. ---方法2: 建立主键或唯一索引, 利用索引(假设每页10条)---语句样式: MySQL中,可用如下方法: SELECT * ...

MySQL的分页技术总结

方法1:?直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT?M,N。---适应场景: 适用于数据量较少的情况(元组百/千级)。---原因/缺点: 全表扫描,速度会很慢且?有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3)。Limit限制的是从结果集的M位置处取出N条输出,其余抛弃。方法2: 建立主键或唯一索引, 利用索引(假设每页10条)---语句样式: MySQL中,可用如下方法:?SELECT * FRO...

mysql 分页查询【代码】

分页查询:一页显示不全，需要分页提交sql请求 select 查询列表 from 表名 ~join 表2 on 连接条件 where 筛选条件 group by 分组字段 having 条件 order by 排序 limit 起始索引，条目数；这里的索引从0开始或 limit 条目数；特点：页数和条目的关系 select 查询列表from 表limit (page-1)*size,size;假定size=5page 开始索引1 02 53 10所以索引位置：(page-1)*5;#案例：查询前五条员工信息SELECT * FROM employ...

MySQL提高分页效率【代码】

下面就是大数据量时提高分页的效率的测试代码，分享给大家。 --提高分页效率:实现分页时只读取显示数据,需要先在数据库创建数据库“TestForPaging” use TestForPaging go --创建表SomeData create table SomeData ( id int primary key, name varchar(30) null, description text ) go --插入数据 insert into SomeData values(1,‘num1‘,‘第1条‘) go insert into SomeData values(2,‘num2‘,‘第2条‘) go insert into SomeD...

mysql 分页存储过程【图】

网上关于mysql分页存储过程的资料很多，但内容大同小异。作为初学者，引用mysql存储过程如下： DELIMITER $$USE `database1`$$ -- 数据库名称DROP PROCEDURE IF EXISTS `Query_Pagination`$$ -- 分页存储过程名称，存在则删除CREATE <a target=_blank href="mailto:DEFINER=`root`@`%">DEFINER=`root`@`%</a>` PROCEDURE `Query_Pagination`( -- 创建新的分页存储过程 IN _fields VARCHAR (200...

mysql的limit分页，越往后为什么越慢，怎么解决【图】

一什么是limit分页问题limit 20 这样的语句。仅仅扫描前30行，select* from table limit 0,10扫描满足条件的10行，返回10行，但当limit 866613，20的时候数据读取就很慢,limit 866613，20的意思扫描满足条件的866633行，扔掉前面的866613行，返回最后的20行，可想而知这时会很慢，如下图，达到37.44秒之久。二怎么解决利用表的覆盖索引来加速分页查询我们都知道，利用了索引查询的语句中如果只包含了那个索引列（覆盖索引），那...

MySQL 多表查询分页【代码】

SELECTv.*, vt.id vid,vt.vote_id,vt. option,vt.poll FROMvote v JOIN vote_option vt ON v.id = vt.vote_id WHEREv.id IN (SELECTt.idFROM(SELECTidFROMvoteORDERBYid DESCLIMIT 0,2) AS t) ORDERBYid DESC 原文：http://www.cnblogs.com/qingyibusi/p/6112971.html

MyBatis Generator实现MySQL分页插件【代码】

MyBatis Generator是一个非常方便的代码生成工具，它能够根据表结构生成CRUD代码，可以满足大部分需求。但是唯一让人不爽的是，生成的代码中的数据库查询没有分页功能。本文介绍如何让MyBatis Generator生成的代码具有分页功能。MyBatis Generator结合Maven的配置和使用在实现分页之前，首先简单介绍MyBatis Generator如何使用。MyBatis Generator配置文件MyBatis Generator通常会有一个xml配置文件，用来指定连接的数据库、哪些表...

Mysql查询使用limit分页，同时使用order by可能产生的问题

昨天遇到一个比较诡异的问题，在使用MySQL分页查询数据的时候，有的数据明明数据库里有，但是就是查不出来，有的数据却反而会重复出现。这里面就涉及到一个MySQL自身的问题。具体现象大概是：当使用order by 的字段有多个相同的结果，同时，此次结果不足以把数据完全显示出来的时候。比如，使用order by对count字段排序，同时使用limit 10规定取前10条。但是实际数据不止10条，那么，当使用sql查询第二页的时候，也就是，使用limit...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / mysql分表后如何分页(总共160个表1500万数据)

mysql分表后如何分页(总共160个表1500万数据)

内容导读

内容图文

回复讨论(解决方案)

内容总结

内容备注

内容手机端

【mysql分表后如何分页(总共160个表1500万数据)】教程文章相关的互联网学习教程文章

MySQL的LIMIT与分页优化

MySQL单表百万数据记录分页性能优化【图】

mysql优化limit分页【图】

SqlServer、oracle、mysql分页的实现

mysql分页原理和高效率的mysql分页查询语句

sql分页 sql server,oracle,db2,mysql

MySQL大数据量分页查询方法及其优化

MySQL的分页技术总结

mysql 分页查询【代码】

MySQL提高分页效率【代码】

mysql 分页存储过程【图】

mysql的limit分页，越往后为什么越慢，怎么解决【图】

MySQL 多表查询分页【代码】

MyBatis Generator实现MySQL分页插件【代码】

Mysql查询使用limit分页，同时使用order by可能产生的问题

MYSQL - 相关标签

数据 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程