RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。新的源码解析文章实时收到通知。每周更新一篇左右。认真的源码交流微信群。本文主要基于 Sharding-JDBC 1.5.0 正式版1. 概述2. DeleteStatement3. #parse()3.1 #skipBetweenDeleteAndTable()3.2 #parseSingleTable()3.3 #parseWhere()666. 彩蛋1. 概述本文前置阅读：《SQL 解析（一）之词...
分库分表和数据库分片方案 数据库数据量达到千万级别时查询效率会很低，分库分表是一种很有效的解决方案。 垂直划分和水平划分 垂直划分：垂直划分又分为垂直分库和垂直分表两种，垂直分库就是将关联度低的各种表放在不同的数据库中，垂直分表是针对表的列进行的，将字段拆到其他表中形成新表，这样表的记录就会变小，索引就会降低空间消耗，提升性能。垂直划分业务逻辑清晰便于管理，提升高并发性能，但是表无法连接查询，涉及分布...
DATABASE `sharding0` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; USE `sharding0`;CREATE TABLE `order` (`order_id` bigint(20) NOT NULL COMMENT ‘订单ID‘,`order_amount` decimal(20,4) DEFAULT NULL COMMENT ‘订单金额‘,`create_time` datetime DEFAULT NULL COMMENT ‘创建时间‘,`user_id` bigint(20) NOT NULL COMMENT ‘用户ID‘,PRIMARY KEY (`order_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;CREATE T...
本文原文连接: http://blog.csdn.net/bluishglc/article/details/7696085 ,转载请注明出处！本文着重介绍sharding切分策略，如果你对数据库sharding缺少基本的了解，请参考我另一篇从基础理论全面介绍sharding的文章：数据库Sharding的基本思想和切分策略 第一部分：实施策略 图1.数据库分库分表(sharding)实施策略图解(点击查看大图) 1.准备阶段对数据库进行分库分表(Sharding化)前，需要开发人员充分了解系统业务逻辑和数据...
转： 一文快速入门分库分表（送给不知该学点啥的你） 大家好，我是小富~ 之前有不少刚入坑 Java 的粉丝留言，想系统的学习一下分库分表相关技术，可我一直没下定决心搞，眼下赶上公司项目在使用 sharding-jdbc 对现有 MySQL 架构做分库分表的改造，所以借此机会出一系分库分表落地实践的文章，也算是自己对架构学习的一个总结。 我在网上陆陆续续的也看了一些有关于分库分表的文章，可发现网上同质化的资料有点多，而且知识点又都...
sharding JDBC的同学都知道，分库分表的操作是使用sharding JDBC中非常重要的，可能还有很多初学者对此阶段的学习存在疑虑，因此，接下来我会帮助你逐渐深入分库分表的操作。 环境准备 pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.3.RELEASE</version></parent> <properties> <java.version>1.8</java.vers...
mysql主从复制原理及存在问题解决 https://blog.csdn.net/darkangel1228/article/details/80003967 mysql主从复制原理 主库会将变更写入biglog日志中，主库生成一个 log dump 线程，用来给从库 i/o线程传binlog； 从库生成两个线程，一个I/O线程，一个SQL线程； I/o线程去请求主库 的binlog，并将得到的binlog日志写到relay log（中继日志） 文件中； SQL 线程，会读取relay log文件中的日志，并解析成具体操作，来实现主从的操作...
为什么要分库分表和读写分离？ 类似淘宝网这样的网站，海量数据的存储和访问成为了系统设计的瓶颈问题，日益增长的业务数据，无疑对数据库造成了相当大的负载，同时对于系统的稳定性和扩展性提出很高的要求。随着时间和业务的发展，数据库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大；另外，无论怎样升级硬件资源，单台服务器的资源（CPU、磁盘、内存、网络IO、事务数、连接数）总是有限的，...
环境准备 pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.3.RELEASE</version></parent> <properties> <java.version>1.8</java.version> <sharding.version>3.1.0</sharding.version></properties> <dependencies> <dependency> <groupId>io.shardingsphere</groupId> <arti...
1. 数据库分库分表1.1. 前言1.1.1. 名词解释1.2. 数据库架构演变 1.3. 分库分表前的问题1.3.1. 用户请求量太大 1.3.2. 单库太大 1.3.3. 单表太大1.4. 分库分表的方式方法1.4.1. 垂直拆分 1.4.2. 水平拆分1.5. 分库分表后面临的问题1.5.1. 事务支持 1.5.2. 多库结果集合并（group by，order by） 1.5.3. 跨库join1.6. 分库分表方案产品 1.7. 为什么不建议分库分表 1.8. 参考数据库分库分表 前言 公司最近在搞服务分离，数据切分方面...
数据分片产生的背景,可以查看https://shardingsphere.apache.org/document/current/cn/features/sharding/,包括了垂直拆分和水平拆分的概念.还有这个框架的目标是什么,都写得很清楚 Sharding-JDBC与MyCat: 解决分库分表的中间件.但是定位不同,Sharding-JDBC定位是轻量级Java框架,以jar包的方式提供服务,未使用中间件,使用代码连接库.MyCat相当于代理,MyCat相当于数据库,直接访问MyCat就可以,不需要关系库和表,MyCat自动处理,但是需...
分库分表实战及中间件（四） 数据脱敏剖析 数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照规定，都需要进行数据脱敏。 数据脱敏模块属于ShardingSphere分布式治理这一核心功能下的子功能模块。 在更新操作时，它通过对用户输入的SQL进行解析，并依据用户提供的脱敏配置对SQL进行改写，从而实现对原...
数据库架构的演变 在业务数据量比较少的时代，我们使用单机数据库就能满足业务使用，随着业务请求量越来越多，数据库中的数据量快速增加，这时单机数据库已经不能满足业务的性能要求，数据库主从复制架构随之应运而生。 主从复制是将数据库写操作和读操作进行分离，使用多个只读实例（slaver replication）负责处理读请求，主实例（master）负责处理写请求，只读实例通过复制主实例的数据来保持与主实例的数据一致性。由于只读实例...
本文适合：需要从单库单表改造为多库多表的新手。 本文主要阐述在分库分表改造过程中需要考虑的因素以及对应的解法，还有踩过的那些坑。 一 前言 我们既然要做分库分表，那总要有个做事的动机。那么，在动手之前，首先就要弄明白下面两个问题。 1 什么是分库分表？ 其实就是字面意思，很好理解： 分库：从单个数据库拆分成多个数据库的过程，将数据散落在多个数据库中。 分表：从单张表拆分成多张表的过程，将数据散...
在对诸如订单、交易、支付等实时在线业务系统的研发、维护过程中，随着业务量的快速增长，我们经常会遇到由于关系型数据库（如:MySql）单表数据量增长过大而引发的线上事故；虽然这些事故多数时候是由于不合理的慢SQL而引起的系统雪崩，但有时也会出现由于数据库热点块IO争用而引发的系统性性能下降。总之，单表数据量的无限增长总是会在这样或那样的情况下增加系统的不稳定性因素。 所以在大规模实时系统的设计中，除了重点考虑应...