ShardingSphere jdbc实现分库分表核心概念详解
作者:刨红薯的小羊竿尔 时间:2023-11-24 12:09:45
ShardingSphere
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能。
Sharding-JDBC
定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。
1)适用于任何基于Java的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
2)基于任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP等。
3)支持任意实现JDBC规范的数据库。目前支持MySQL,Oracle,SQLServer和PostgreSQL。
Sharding-JDBC包含的一些核心概念
1)逻辑表-LogicTable
数据分片的逻辑表,对于水平拆分的数据库(表),同一类表的总称。例:订单数据根据主键尾数拆分为10张表,分别是t_order_0到t_order_9,他们的逻辑表名为t_order。
2)实际表-ActualTable
在分片的数据库中真实存在的物理表。即上个示例中的t_order_0到t_order_9。
3)数据节点-DataNode
数据分片的最小单元。由数据源名称和数据表组成,例:ds_1.t_order_0。配置时默认各个分片数据库的表结构均相同,直接配置逻辑表和真实表对应关系即可。如果各数据库的表结果不同,可使用ds.actual_table配置。
4)动态表-DynamicTable
逻辑表和真实表不一定需要在配置规则中静态配置。比如按照日期分片的场景,真实表的名称随着时间的推移会产生变化。此类需求Sharding-JDBC是支持的,不过目前配置并不友好,会在新版本中提升。
5)绑定表-BindingTable
指在任何场景下分片规则均一致的主表和子表。例:订单表和订单项表,均按照订单ID分片,则此两张表互为BindingTable关系。BindingTable关系的多表关联查询不会出现笛卡尔积关联,关联查询效率将大大提升。
6)分片键-ShardingColumn
分片字段。用于将数据库(表)水平拆分的关键字段。例:订单表订单ID分片尾数取模分片,则订单ID为分片字段。SQL中如果无分片字段,将执行全路由,性能较差。Sharding-JDBC支持多分片字段。
7)分片算法-ShardingAlgorithm
分片算法。Sharding-JDBC通过分片算法将数据分片,支持通过等号、BETWEEN和IN分片。分片算法目前需要业务方开发者自行实现,可实现的灵活度非常高。未来Sharding-JDBC也将会实现常用分片算法,如range,hash和tag等。
8)SQL Hint
对于分片字段非SQL决定,而由其他外置条件决定的场景,可使用SQL Hint灵活的注入分片字段。例:内部系统,按照员工登录ID分库,而数据库中并无此字段。SQL Hint支持通过ThreadLocal和SQL注释(待实现)两种方式使用。
9)广播表broadcastTable
所有的分⽚数据源中都存在的表,表结构和表中的数据在每个数据库中均完全⼀致,例如:数据字典表,公共配置表。
10)分布式主键生成策略
Sharding-JDBC 内部支持UUID和Snowflake生成分布式主键。
分片策略算法
ShardingSphere-JDBC在分片策略上分别引入了分片算法、分片策略两个概念,当然在分片的过程中分片键也是一个核心的概念;在此可以简单的理解分片策略 = 分片算法 + 分片键
分片算法
提供了抽象分片算法类:ShardingAlgorithm
,根据类型又分为:精确分片算法、区间分片算法、复合分片算法以及Hint分片算法;
精确分片算法:对应
PreciseShardingAlgorithm
类,主要用于处理=
和IN
的分片;
public class PreciseDBShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
//todo
}
}
区间分片算法:对应
RangeShardingAlgorithm
类,主要用于处理BETWEEN AND
,>
,<
,>=
,<=
分片;
public class RangeShardingDBAlgorithm implements RangeShardingAlgorithm<Long> {
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
//todo
}
}
复合分片算法:对应
ComplexKeysShardingAlgorithm
类,用于处理使用多键作为分片键进行分片的场景;
public class ComplexKeysShardingDBAlgorithm implements ComplexKeysShardingAlgorithm<Long> {
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
//todo
}
}
Hint分片算法:对应
HintShardingAlgorithm
类,用于处理使用Hint
行分片的场景;
public class HintShardingDBAlgorithm implements HintShardingAlgorithm<Long> {
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
//todo
}
}
以上所有的算法类都是接口类,具体实现交给开发者自己。
分片策略
分片策略基本和上面的分片算法对应,包括:标准分片策略、复合分片策略、Hint分片策略、内联分片策略、不分片策略;
标准分片策略:对应
StandardShardingStrategy
类,提供PreciseShardingAlgorithm
和RangeShardingAlgorithm
两个分片算法,PreciseShardingAlgorithm
是必须的,RangeShardingAlgorithm
可选的;
public final class StandardShardingStrategy implements ShardingStrategy {
private final String shardingColumn;
private final PreciseShardingAlgorithm preciseShardingAlgorithm;
private final RangeShardingAlgorithm rangeShardingAlgorithm;
}
复合分片策略:对应
ComplexShardingStrategy
类,提供ComplexKeysShardingAlgorithm
分片算法;可以发现支持多个分片键;
public final class ComplexShardingStrategy implements ShardingStrategy {
@Getter
private final Collection<String> shardingColumns;
private final ComplexKeysShardingAlgorithm shardingAlgorithm;
}
Hint分片策略:对应
HintShardingStrategy
类,通过 Hint 指定分片值而非从 SQL 中提取分片值的方式进行分片的策略;提供HintShardingAlgorithm
分片算法;
public final class HintShardingStrategy implements ShardingStrategy {
@Getter
private final Collection<String> shardingColumns;
private final HintShardingAlgorithm shardingAlgorithm;
}
内联分片策略:对应
InlineShardingStrategy
类,没有提供分片算法,路由规则通过表达式来实现;不分片策略:对应
NoneShardingStrategy
类,不分片策略;
分片策略配置类
在使用中我们并没有直接使用上面的分片策略类,ShardingSphere-JDBC分别提供了对应策略的配置类包括:
StandardShardingStrategyConfiguration
ComplexShardingStrategyConfiguration
HintShardingStrategyConfiguration
InlineShardingStrategyConfiguration
NoneShardingStrategyConfiguration
来源:https://juejin.cn/post/7173608915962167333
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
springboot依赖冲突问题及解决过程
![](https://img.aspxhome.com/file/2023/2/129252_0s.jpg)
Android实现蓝牙聊天功能
![](https://img.aspxhome.com/file/2023/7/122077_0s.png)
C#Winform窗口移动方法
Redis监听过期的key实现流程详解
![](https://img.aspxhome.com/file/2023/4/94324_0s.png)
Android OpenGL仿自如APP裸眼3D效果详解
![](https://img.aspxhome.com/file/2023/0/88110_0s.png)
Unity之绕轴进行旋转的操作
![](https://img.aspxhome.com/file/2023/9/104329_0s.jpg)
自定义BufferedReader的实例
C#中的静态成员、静态方法、静态类介绍
![](https://img.aspxhome.com/file/2023/1/92961_0s.jpg)
Android UI设计系列之自定义Dialog实现各种风格的对话框效果(7)
![](https://img.aspxhome.com/file/2023/1/138391_0s.jpg)
C++11/14 线程调用类对象和线程传参的方法
浅谈java的接口和C++虚类的相同和不同之处
c# 抓取Web网页数据分析
SpringBoot使用SchedulingConfigurer实现多个定时任务多机器部署问题(推荐)
![](https://img.aspxhome.com/file/2023/5/103855_0s.png)
C++ Boost Fusion创建异构容器详解
MyBatis中的properties配置(推荐)
浅谈Java finally语句到底是在return之前还是之后执行(必看篇)
浅谈Java堆外内存之突破JVM枷锁
![](https://img.aspxhome.com/file/2023/0/99870_0s.png)
Java8中的Stream 流实践操作
![](https://img.aspxhome.com/file/2023/0/87210_0s.webp)