一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。1、IO瓶颈
第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。
第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分...
什么是mycat1、一个彻底开源的，面向企业应用开发的大数据库集群
2、支持事务、ACID、可以替代MySQL的加强版数据库
3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
5、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
6、一个新颖的数据库中间件产品
Mycat原理? Mycat的原理中最重要的一个动词是...
本文系统来源：http://blog.csdn.net/zwan0518/article/details/11972853
比如查询吧。如果MYSQL分库分表，势必会增加逻辑代码的难度。比如一个简单的查询，分表了之后先要找到那张表，然后再查询。这样代码复杂度就会成倍增加。。。。我们该如何设计解决这个问题呢？？？？？？？？？？？？
PS：我经验不足。目前的水平也就是一个mysql上面。我发现分库分表以后逻辑代码一下会变得复杂很多回复内容：比如查询吧。如果MYSQL分库分表，势必会增加逻辑代码的难度。比如一个简单的查询，分表了之后先要找到那...
本来是想用linux版的mycat的，由于云服务器只有一台，在服务器上没法链接上本地的mysql，就是用了windows版的mycat，用法和配置文件和linux版的都是一样的；mycat官网mycat的github自行下载对应的版本，这里下载的是1.6.7.4版本，解压之后的目录：
2. mycat的配置首先我们修改一下mycat的用户名和密码，在安装目录/conf/server.xml中 然后需要配置一下schema.xml：
我这里测试用的是balance="2",将主节点和从节点中mydb数据...
随着业务的增长，一般的公司都会经历一个从单库单表到分库分表的过程 , 需要考虑以下要素判断是否开始分库分表
1. 如果mysql单库的QPS超过1000就要考虑分库了 , 一般根据业务进行分库
目前新浪邮箱的主库是sinanet 各种辅助库 userservice客服系统 sinastore 文件存储库 entsales 销售系统库
2. 单表的数据量非常大时 , 需要考虑分表 , 超过1000万就要考虑了 , 因为此时b+树索引的高度是3-5左右
如果有单字段特别大 , 就要把该...
myuser=rootmypass=yzg1314520mycmd="mysql -u$myuser -p$mypass "mydump="mysqldump -u$myuser -p$mypass"for database in mysql testdo $mydump $database > $database_$(date +%F).sql tar -zcvf $database_$(date +%F).tar.gz $database_$(date +%F).sql rm -rf $database_$(date +%F).sqldone2.mysql的分库分表备份myuser=rootmypass=yzg1314520mycmd="mysql -u$myuser -p$mypass "mydump="mysqldump...
。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。2. mysql proxy：amoeba做mysql集群,利用amoeba。从上层的java程序来讲，不需要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。 3.大数据量并且访问频繁的表，将其分为若干个表比如对于某网站平台的数据库表-公司表，数据量很大，这种...
当我们在公司中遇到数据库的备份，项目比较多，经常进行数据库和表的添加工作，那么我们想要让系统脚本自动进行查询数据库里的库和表结构，然后进行自动的定期进行数据库和表的定期份，那么我们该如何实现呢，大家看看以下的脚本：vi mysql_backup.sh#!/bin/sh#backup tiandao bbs edoing #coding tonye.liMYUSER=rootMYPASS=meidiSOCKET=/data/3306/mysql.sockMYCMD="mysql -u$MYUSER -p$MYPASS -S $SOCKET"MYDUMP="mysqldump -u$...
。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。
2. mysql proxy：amoeba
做mysql集群,利用amoeba。
从上层的java程序来讲，不需要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。
3.大数据量并且访问频繁的表，将其分为若干个表
比如对于某网站平台的数据库表-公司表，数据量很大...
单库单表 单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。 单库多表 随着用户数量的增加，user表的数据量会越来越大，当数据量达到一定程度的时候对user表的查询会渐渐的变慢，从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是，当需要添加一列的时候，mysql会锁表，期间所有的读写操作只能等待。 可以通过某种方式将user进行水平的切分，产生两个...
#!/bin/bashUSER=rootPASSWD=123456SOCK=/data/3306/mysql.sockLOGIN="mysql -u$USER -p$PASSWD -S $SOCK"DATABASE=`$LOGIN -e "show databases;" | sed ‘1d‘|egrep -v ".*schema|mysql"`DUMP="mysqldump -u$USER -p$PASSWD -S $SOCK"#cd /backup/mysql/for database in $DATABASE;do [ ! -d $database ] && mkdir -p /backup/mysql/$database $DUMP -B $database | gzip > /backup/mysql/$database/${database}_$...
代码如下:<?php for($i=0;$i< 100; $i++ ){ //echo "CREATE TABLE db2.members{$i} LIKE db1.members<br>"; echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}<br>"; } ?>
2、不停机修改mysql表结构 同样还是members表，前期设计的表结构不尽合理，随着数据库不断运行，其冗余数据也是增长巨大，同事使用了下面的方法来处理： 先创建一个临时表： /*创建临时表*/ CREATE TABLE members_tmp LIKE members 然...
1、分库分表很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mid分发记录到这些表中，牛逼的代码大概是这样子：代码如下 复制代码<?php
for($i=0;$i< 100; $i++ ){//echo "CREATE TABLE...
为什么要分表
当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。
mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。
mysql proxy：amoeba
做mysql集群,利用amo...
1、分库分表
很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mid分发记录到这些表中，牛逼的代码大概是这样子：
代码如下 复制代码
<?php
for($i=0;$i< 100; $i++ ){
//echo "CREATE TABLE db2.members{$i} LIKE db1.members<br>";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}<br>";
}
?>
2、不停机修改mysql表结构
同样还是members表，前期设计的表结构不尽合理，随着数据库不断运行，其冗余数据也是增长巨大，同事使用了下面的方法来处理：
先创建一个临时表：
代码如下 复制代码
/*创建临时表*/
CREATE TABLE members_tmp LIKE members
然后修改members_tmp的表结构为新结构，接着使用上面那个for循环来导出数据，因为1000万的数据一次性导出是不对的，mid是主键，一个区间一个区间的导，基本是一次导出5万条吧，这里略去了
接着重命名将新表替换上去：
代码如下 复制代码
/*这是个颇为经典的语句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
就是这样，基本可以做到无损失，无需停机更新表结构，但实际上RENAME期间表是被锁死的，所以选择在线少的时候操作是一个技巧。经过这个操作，使得原先8G多的表，一下子变成了2G多
另外还讲到了mysql中float字段类型的时候出现的诡异现象，就是在pma中看到的数字根本不能作为条件来查询.感谢zj同学的新鲜分享。