首页 / MYSQL / MySQL分库分表之Sharding-JDBC第二篇

MySQL分库分表之Sharding-JDBC第二篇

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL分库分表之Sharding-JDBC第二篇，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10764字，纯文字阅读大概需要16分钟。

内容图文

MySQL分库分表之第二篇

分库分表之第二篇

2. Sharding-JDBC快速入门

2.3 编写程序

2. Sharding-JDBC快速入门

2.1需求说明

使用Sharding-JDBC完成对订单表的水平分表，通过快速入门程序的开发，快速体验Sharding-JDBC的使用。人工创建两张表，t_order_1和t_order_2，这张表是订单表替换后的表，通过Shading-JDBC向订单表插入数据，按照一定的分片规则，主键为偶数的尽入t_order_1，另一部分数据进入t_order_2，通过Shading-Jdbc查询数据，根据SQL语句的内容从t_order_1或order_2查询数据。

2.2. 环境建设

2.2.1环境说明

操作系统：Win10数据库：MySQL-5.7.25 JDK：64位jdk1.8.0_201应用框架：spring-boot-2.1.3.RELEASE，Mybatis3.5.0 Sharding-JDBC：sharding-jdbc-spring-boot-starter-4.0 .0-RC1

2.2.2创建数据库

创建订单表

CREATE DATABASE`order_db`字符集'UTF8'COLLATE'utf8_general_ci'; ```在order_db中创建t_order_1，t_order_2表如果存在java DROP TABLE t_order_1; CREATE TABLE`t_order_1`（`order_id` BIGINT（20）非空注释'订单ID'，`price`十进制（10，2）非空注释'订单价格'，`user_id` BIGINT（20）非空注释“下一个单用户id”，“状态” varchar（50）字符集utf8集合utf8_general_ci NOT NULL COMMENT“订单状态”，主键（`order_id`）使用BTREE）引擎= InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = 如果存在表t_order_2; CREATE TABLE`t_order_2`（`order_id` BIGINT（20）非空注释'订单ID'，`price`十进制（10，2）非空注释'订单价格'，`user_id` BIGINT（20）非空注释'下一个单用户id'，`status` varchar（50）字符集utf8集合utf8_general_ci NOT NULL COMMENT'订单状态'，主键（`order_id`）使用BTREE 
）ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT =动态;

2.2.3约会maven依赖

sharding-jdbc和SpringBoot整合的Jar包：

<dependency>
<groupId>org.apache.shardingsphere</groupId> 
<artifactId>sharding‐jdbc‐spring‐boot‐starter</artifactId> 
<version>4.0.0‐RC1</version>
   </dependency>

2.3 编写程序

2.3.1 分片规则配置

分片规则配置是sharding-jdbc进行分库分表操作的重要依据，配置内容包括：数据源、主键生成策略等。
在application.properties中配置

server.port=56081
spring.application.name = sharding‐jdbc‐simple‐demo
 server.servlet.context‐path = /sharding‐jdbc‐simple‐demo spring.http.encoding.enabled = true spring.http.encoding.charset = UTF‐8 spring.http.encoding.force = true
spring.main.allow‐bean‐definition‐overriding = true
mybatis.configuration.map‐underscore‐to‐camel‐case = true # 以下是分片规则配置
# 定义数据源
spring.shardingsphere.datasource.names = m1
spring.shardingsphere.datasource.m1.type = com.alibaba.druid.pool.DruidDataSource spring.shardingsphere.datasource.m1.driver‐class‐name = com.mysql.jdbc.Driver spring.shardingsphere.datasource.m1.url = jdbc:mysql://localhost:3306/order_db?useUnicode=true spring.shardingsphere.datasource.m1.username = root spring.shardingsphere.datasource.m1.password = root
# 指定t_order表的数据分布情况，配置数据节点 spring.shardingsphere.sharding.tables.t_order.actual‐data‐nodes = m1.t_order_$‐>{1..2}
# 指定t_order表的主键生成策略为SNOWFLAKE spring.shardingsphere.sharding.tables.t_order.key‐generator.column=order_id spring.shardingsphere.sharding.tables.t_order.key‐generator.type=SNOWFLAKE
# 指定t_order表的分片策略，分片策略包括分片键和分片算法 spring.shardingsphere.sharding.tables.t_order.table‐strategy.inline.sharding‐column = order_id spring.shardingsphere.sharding.tables.t_order.table‐strategy.inline.algorithm‐expression = t_order_$‐>{order_id % 2 + 1}
# 打开sql输出日志 spring.shardingsphere.props.sql.show = true
swagger.enable = true
logging.level.root = info logging.level.org.springframework.web = info logging.level.com.itheima.dbsharding = debug logging.level.druid.sql = debug

首先定义数据源m1，并对m1进行实际的参数配置
指定t_order表的数据分布情况，它分布在m1.t_order_1、m1.t_order_2
指定t_order表的主键生成策略为SNOWFLAKE，SNOWFLAKE是一种分布式自增算法，保证id全局唯一
定义t_order分片策略，order_id为偶数的数据落在t_order_1，为奇数的落在t_order_2，分表策略的表达式为t_order_$->{order_id % 2 + 1}

2.3.2 数据操作

   @Mapper
   @Component
   public interface OrderDao {
	/**
	* 新增订单
	* @param price 订单价格 * @param userId 用户id * @param status 订单状态 * @return
	*/
	@Insert("insert into t_order(price,user_id,status) value(#{price},#{userId},#{status})")
	int insertOrder(@Param("price") BigDecimal price, @Param("userId")Long userId, @Param("status")String status);
	/**
	* 根据id列表查询多个订单
	* @param orderIds 订单id列表 * @return
	*/
	@Select({"<script>" + "select " +
	"*"+
	" from t_order t" +
	" where t.order_id in " +
	"<foreach collection='orderIds' item='id' open='(' separator=',' close=')'>" + " #{id} " +
	"</foreach>"+
	"</script>"})
	List<Map> selectOrderbyIds(@Param("orderIds")List<Long> orderIds); 
}

2.3.3 测试

编写单元测试：

@RunWith(SpringRunner.class)
@SpringBootTest(classes = {ShardingJdbcSimpleDemoBootstrap.class}) public class OrderDaoTest {
	@Autowired
	private OrderDao orderDao;
	@Test
	public void testInsertOrder(){
		for (int i = 0 ; i<10; i++){
			orderDao.insertOrder(new BigDecimal((i+1)*5),1L,"WAIT_PAY");
		} 
	}
	@Test
	public void testSelectOrderbyIds(){
		List<Long> ids = new ArrayList<>(); ids.add(373771636085620736L); ids.add(373771635804602369L);
		List<Map> maps = orderDao.selectOrderbyIds(ids); System.out.println(maps);
	} 
}

执行testInsertOrder：
MySQL分库分表之Sharding-JDBC第二篇 - 文章图片
通过日志可以发现order_id为奇数的被插入到t_order_2表，为偶数的被插入到t_order_1表，达到预期目标。
执行testSelectOrderbyIds：

通过日志可以发现，根据传入的order_id的奇偶不同，分片-JDBC分别去不同的表检索数据，达到预期目标。

2.4. 流程分析

通过日志分析，Sharding-JDBC在拿到用户要执行的sql之后干了那些事儿：
（1）解析sql，获取片键值，在本例中是order_id
（2）Sharding-JDBC通过规则配置t_order_$->{order_id% 2 + 1}，知道类当order_id为偶数时，应该往t_order_1表插数据，为奇数时，往t_order_2插数据。
（3）于是Sharding-JDBC根据order_id的值改写sql语句，改写后的SQL语句是真实所要执行的SQL语句。
（4）执行改写后的真实sql语句
（5）将所有真正执行sql的结果进行汇总合并，返回。

2.5 其他集成方式

Sharding-JDBC不仅可以与Spring boot良好集成，它还支持其他配置方式，共支持以下四种集成方式。
Spring Boot Yaml配置
定义application.yml，内容如下：

server:
     port: 56081
     servlet:
context‐path: /sharding‐jdbc‐simple‐demo spring:
application:
name: sharding‐jdbc‐simple‐demo
     http:
       encoding:
enabled: true charset: utf‐8 force: true
main:
allow‐bean‐definition‐overriding: true
     shardingsphere:
       datasource:
         names: m1
m1:
type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://localhost:3306/order_db?useUnicode=true username: root
password: mysql
       sharding:
         tables:
t_order:
actualDataNodes: m1.t_order_$‐>{1..2} tableStrategy:
inline:
shardingColumn: order_id
algorithmExpression: t_order_$‐>{order_id % 2 + 1}
             keyGenerator:
               type: SNOWFLAKE
               column: order_id
props: sql:
           show: true
   mybatis:
configuration: map‐underscore‐to‐camel‐case: true
   swagger:
     enable: true
   logging:
     level:
root: info
 org.springframework.web: info 
 com.itheima.dbsharding: debug 
 druid.sql: debug

如果使用application.yml则需要屏蔽原来的application.properties文件。
Java配置
添加配置类：

@Configuration
   public class ShardingJdbcConfig {
// 定义数据源
Map<String, DataSource> createDataSourceMap() {
DruidDataSource dataSource1 = new DruidDataSource(); dataSource1.setDriverClassName("com.mysql.jdbc.Driver"); dataSource1.setUrl("jdbc:mysql://localhost:3306/order_db?useUnicode=true"); dataSource1.setUsername("root");
dataSource1.setPassword("root");
Map<String, DataSource> result = new HashMap<>(); result.put("m1", dataSource1);
return result;
}
// 定义主键生成策略
private static KeyGeneratorConfiguration getKeyGeneratorConfiguration() {
KeyGeneratorConfiguration result = new KeyGeneratorConfiguration("SNOWFLAKE","order_id");
           return result;
       }
// 定义t_order表的分片策略
TableRuleConfiguration getOrderTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order","m1.t_order_$‐> {1..2}");
result.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id", "t_order_$‐>{order_id % 2 + 1}"));
result.setKeyGeneratorConfig(getKeyGeneratorConfiguration()); return result;
}
// 定义sharding‐Jdbc数据源
@Bean
DataSource getShardingDataSource() throws SQLException {
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration(); shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration()); //spring.shardingsphere.props.sql.show = true
Properties properties = new Properties();
properties.put("sql.show","true");
return ShardingDataSourceFactory.createDataSource(createDataSourceMap(),
     shardingRuleConfig,properties);
       }
}

由于采用类配置类所以需要屏蔽原来application.properties文件中spring.shardingsphere开头的配置信息。还需要在SpringBoot启动类中屏蔽使用spring.shardingsphere配置项的类：

@SpringBootApplication(exclude = {SpringBootConfiguration.class}) public class ShardingJdbcSimpleDemoBootstrap {....}

Spring命名空间配置此方式使用xml方式配置，不推荐使用。

<?xml version="1.0" encoding="UTF‐8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema‐instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"
   xmlns:sharding="http://shardingsphere.apache.org/schema/shardingsphere/sharding"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring‐beans.xsd
http://shardingsphere.apache.org/schema/shardingsphere/sharding
http://shardingsphere.apache.org/schema/shardingsphere/sharding/sharding.xsd http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring‐context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring‐tx.xsd">
<context:annotation‐config />
<!‐‐定义多个数据源‐‐>
<bean id="m1" class="com.alibaba.druid.pool.DruidDataSource" destroy‐method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver" />
<property name="url" value="jdbc:mysql://localhost:3306/order_db_1?useUnicode=true" /> 
<property name="username" value="root" />
<property name="password" value="root" />
</bean>
<!‐‐定义分库策略‐‐>
<sharding:inline‐strategy id="tableShardingStrategy" sharding‐column="order_id" algorithm‐
expression="t_order_$‐>{order_id % 2 + 1}" /> 
<!‐‐定义主键生成策略‐‐>
<sharding:key‐generator id="orderKeyGenerator" type="SNOWFLAKE" column="order_id" />
<!‐‐定义sharding‐Jdbc数据源‐‐> <sharding:data‐source id="shardingDataSource">
<sharding:sharding‐rule data‐source‐names="m1"> 
<sharding:table‐rules>
<sharding:table‐rule logic‐table="t_order" table‐strategy‐ ref="tableShardingStrategy" key‐generator‐ref="orderKeyGenerator" />
</sharding:table‐rules> 
</sharding:sharding‐rule>
</sharding:data‐source> 
</beans>

内容总结

以上是互联网集市为您收集整理的MySQL分库分表之Sharding-JDBC第二篇全部内容，希望文章能够帮你解决MySQL分库分表之Sharding-JDBC第二篇所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/876694.html

来源：【匿名】

【上一篇】MySQL中Exists和In的使用【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【MySQL分库分表之Sharding-JDBC第二篇】教程文章相关的互联网学习教程文章

MyCat：对MySQL数据库进行分库分表【代码】

本篇前提： mycat配置正确，且能正常启动。1、schema.xml<table>标签：dataNode -- 分片节点指定（取值：dataNode中的name属性值）rule ------ 分片规则选择（取值：rule标签中的name属性值）123[root@dras-test conf]# vim schema.xml 1 <?xml version="1.0"?> 2 <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 3 <mycat:schemaxmlns:mycat="http://io.mycat/"> 4 <schemaname="mycatdb"checkSQLschema="false"sqlMax...

mysql 分库分表备份脚本【代码】

#!/bin/bash USER=root #用户 PASSWORD=123456 #密码 MYSQL_PATH=127.0.0.1 #地址 MYSQL_BIN=/bin/mysql MYSQL_DUMP_BIN=/bin/mysqldump MYSQL_CMD="${MYSQL_BIN} -u${USER} -p${PASSWORD} -h${MYSQL_PATH}" DATABASE=($(${MYSQL_CMD} -e "show databases;"|egrep -v "Database|mysql|test|information_schema")) BACKUP_DIR=/data/mysql_backup/$(date +%Y-%y-%d) #备份目录 [ -d ${BACKUP_DIR} ]||mkdir -p ${BACKUP_DIR} fo...

MySQL分库分表方案分析【图】

一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。1、IO瓶颈第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库...

mysql数据库优化--分库分表【代码】【图】

mysql如何调试　　1.数据库设计三范式　　2.数据库分表分库——水平分割，垂直分割　　3.定位慢查询　　4.存储过程mysql如何实现优化　　1.数据库设计要合理（3F）　　2.添加索引（普通索引，主键索引，唯一索引，全文索引）　　3分表分库技术（取模分表，水平分割，垂直分割）　　4.读写分离（读一个写一个减少IO量）　　5.存储过程　　6.配置MYSQL最大连接数（my.ini文件）　　7.MySQL服务器升级　　8.随时清理碎片化　　9.SQL语...

企业Shell实战-MySQL分库分表备份脚本

本文来自 http://www.xuliangwei.com/xubusi/252.html免费视频讲解见 http://edu.51cto.com/course/course_id-5064.html企业Shell实战-MySQL分库分表备份今天是2015年的最后一天,大家都开心的跨年,而我还在苦逼的呵呵—省略此处内容来自老男孩教育oldboy以及老男孩26期王续精彩分享整理而来为表示感谢,特整理此篇博文分享给大家！项目联系笔者QQ：572891887 也可以加入架构师交流群:471443208 进行交流[root@db02 scripts]# ...

mysql分库分表的基本方法

参考：https://zhuanlan.zhihu.com/p/137368446 （知乎：MySQL：互联网公司常用分库分表方案汇总！）https://learnku.com/articles/35456 （Laravel Eloquent 分表方法并使用模型关联）https://learnku.com/articles/32579 （Laravel自动分表）原文：https://www.cnblogs.com/tkzc2013/p/14210733.html

MySQL 常用分库分表方案，都在这里了！【图】

Mysql之Mycat读写分离及分库分表【代码】【图】

什么是mycat1、一个彻底开源的，面向企业应用开发的大数据库集群 2、支持事务、ACID、可以替代MySQL的加强版数据库 3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 5、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 6、一个新颖的数据库中间件产品 Mycat原理? Mycat的原理中最重要的一个动词是...

【MySQL】MySQL中针对大数据量常用技术_创建索引+缓存配置+分库分表+子查询优化（转载）

本文系统来源：http://blog.csdn.net/zwan0518/article/details/11972853

MYSQL假设主从复制和分库分表，势必会增加代码难度啊！这个咋解决？

比如查询吧。如果MYSQL分库分表，势必会增加逻辑代码的难度。比如一个简单的查询，分表了之后先要找到那张表，然后再查询。这样代码复杂度就会成倍增加。。。。我们该如何设计解决这个问题呢？？？？？？？？？？？？ PS：我经验不足。目前的水平也就是一个mysql上面。我发现分库分表以后逻辑代码一下会变得复杂很多回复内容：比如查询吧。如果MYSQL分库分表，势必会增加逻辑代码的难度。比如一个简单的查询，分表了之后先要找到那...

mysql进阶学习三之mycat读写分离和分库分表【代码】【图】

本来是想用linux版的mycat的，由于云服务器只有一台，在服务器上没法链接上本地的mysql，就是用了windows版的mycat，用法和配置文件和linux版的都是一样的；mycat官网mycat的github自行下载对应的版本，这里下载的是1.6.7.4版本，解压之后的目录： 2. mycat的配置首先我们修改一下mycat的用户名和密码，在安装目录/conf/server.xml中然后需要配置一下schema.xml：　　我这里测试用的是balance="2",将主节点和从节点中mydb数据...

[MySQL] 分库分表需要考虑的问题

随着业务的增长，一般的公司都会经历一个从单库单表到分库分表的过程 , 需要考虑以下要素判断是否开始分库分表 1. 如果mysql单库的QPS超过1000就要考虑分库了 , 一般根据业务进行分库目前新浪邮箱的主库是sinanet 各种辅助库 userservice客服系统 sinastore 文件存储库 entsales 销售系统库 2. 单表的数据量非常大时 , 需要考虑分表 , 超过1000万就要考虑了 , 因为此时b+树索引的高度是3-5左右如果有单字段特别大 , 就要把该...

mysql分库.分表备份

myuser=rootmypass=yzg1314520mycmd="mysql -u$myuser -p$mypass "mydump="mysqldump -u$myuser -p$mypass"for database in mysql testdo $mydump $database > $database_$(date +%F).sql tar -zcvf $database_$(date +%F).tar.gz $database_$(date +%F).sql rm -rf $database_$(date +%F).sqldone2.mysql的分库分表备份myuser=rootmypass=yzg1314520mycmd="mysql -u$myuser -p$mypass "mydump="mysqldump...

Mysql分库分表方案【图】

。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。2. mysql proxy：amoeba做mysql集群,利用amoeba。从上层的java程序来讲，不需要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。 3.大数据量并且访问频繁的表，将其分为若干个表比如对于某网站平台的数据库表-公司表，数据量很大，这种...

数据库mysql 自动分库分表备份脚本

当我们在公司中遇到数据库的备份，项目比较多，经常进行数据库和表的添加工作，那么我们想要让系统脚本自动进行查询数据库里的库和表结构，然后进行自动的定期进行数据库和表的定期份，那么我们该如何实现呢，大家看看以下的脚本：vi mysql_backup.sh#!/bin/sh#backup tiandao bbs edoing #coding tonye.liMYUSER=rootMYPASS=meidiSOCKET=/data/3306/mysql.sockMYCMD="mysql -u$MYUSER -p$MYPASS -S $SOCKET"MYDUMP="mysqldump -u$...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / MySQL分库分表之Sharding-JDBC第二篇

MySQL分库分表之Sharding-JDBC第二篇

内容导读

内容图文

分库分表之第二篇

2. Sharding-JDBC快速入门

2.1需求说明

2.2. 环境建设

2.2.1环境说明

2.2.2创建数据库

2.2.3约会maven依赖

2.3 编写程序

2.3.1 分片规则配置

2.3.2 数据操作

2.3.3 测试

2.4. 流程分析

2.5 其他集成方式

内容总结

内容备注

内容手机端

【MySQL分库分表之Sharding-JDBC第二篇】教程文章相关的互联网学习教程文章

MYSQL - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程