Spring Boot 分库分表策略示例

分库分表是为了应对大规模数据和高并发请求，提高系统的性能和可扩展性。以下是如何在 Spring Boot 中实现分库分表的详细策略：

1. 分库策略

分库策略是将数据分散到多个数据库实例中。常见的分库策略有：

• 按用户 ID：例如，通过用户 ID 的哈希值决定存储到哪个数据库。

• 按业务类型：不同的业务或数据类型存储到不同的数据库。

• 按数据量：根据数据量将数据分散到多个数据库中。

实现步骤：

• 配置多个数据源：

  在 application.yml 文件中配置多个数据源的连接信息。

  示例配置：

  spring:datasource:dynamic:primary: db1datasource:db1:url: jdbc:mysql://localhost:3306/db1username: rootpassword: passworddb2:url: jdbc:mysql://localhost:3306/db2username: rootpassword: password# 添加更多数据源

• 动态数据源路由：

  创建 DynamicDataSource 类，继承 AbstractRoutingDataSource，在 determineCurrentLookupKey 方法中返回当前的数据源标识。

  DataSourceContextHolder 类用于存储当前的数据库标识。

   public class DynamicDataSource extends AbstractRoutingDataSource {@Overrideprotected Object determineCurrentLookupKey() {return DataSourceContextHolder.getDataSourceType();}}
  ​public class DataSourceContextHolder {private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();
  ​public static void setDataSourceType(String dataSourceType) {contextHolder.set(dataSourceType);}
  ​public static String getDataSourceType() {return contextHolder.get();}
  ​public static void clearDataSourceType() {contextHolder.remove();}}

• 根据用户 ID 选择数据源：

  使用工具类 DataSourceUtil 根据用户 ID 计算出数据源标识。

   public class DataSourceUtil {private static final int TOTAL_DATASOURCES = 8;
  ​public static String getDataSourceNameByUserId(Long userId) {int index = (int) (userId % TOTAL_DATASOURCES) + 1;return "db" + index;}}

• 配置数据源：

  在配置类中创建 DynamicDataSource 实例，并配置各个数据源。

   @Configurationpublic class DataSourceConfig {@Autowired@Qualifier("db1DataSource")private DataSource db1DataSource;
  ​@Autowired@Qualifier("db2DataSource")private DataSource db2DataSource;
  ​// 更多数据源...
  ​@Beanpublic DataSource dataSource() {DynamicDataSource dynamicDataSource = new DynamicDataSource();Map<Object, Object> targetDataSources = new HashMap<>();targetDataSources.put("db1", db1DataSource);targetDataSources.put("db2", db2DataSource);// 更多数据源...
  ​dynamicDataSource.setTargetDataSources(targetDataSources);dynamicDataSource.setDefaultTargetDataSource(db1DataSource);return dynamicDataSource;}
  ​@Beanpublic PlatformTransactionManager transactionManager() {return new DataSourceTransactionManager(dataSource());}}

2. 分表策略

分表策略是将数据分散到多个表中。常见的分表策略有：

• 按时间分表：例如，每个月一个表。

• 按 ID 范围分表：例如，每 10000 条数据一个表。

• 按用户 ID 哈希：例如，将用户数据分散到多个表中。

实现步骤：

1. 生成表名：

   创建工具类 TableNameUtil 根据分表策略生成表名。

    public class TableNameUtil {public static String getTableNameByMonth(String baseTableName, LocalDate date) {String month = date.format(DateTimeFormatter.ofPattern("yyyy_MM"));return baseTableName + "_" + month;}
   ​public static String getTableNameByIdRange(String baseTableName, Long id) {int range = (int) (id / 10000);return baseTableName + "_" + range;}
   ​public static String getTableNameByUserId(String baseTableName, Long userId) {int tableIndex = (int) (userId % 8);return baseTableName + "_" + tableIndex;}}

2. 在数据访问层使用分表策略：

   在数据访问层根据生成的表名执行数据库操作。

    @Repositorypublic class OrderRepository {private final JdbcTemplate jdbcTemplate;
   ​public OrderRepository(JdbcTemplate jdbcTemplate) {this.jdbcTemplate = jdbcTemplate;}
   ​public void saveOrder(Order order) {String dataSourceName = DataSourceUtil.getDataSourceNameByUserId(order.getUserId());DataSourceContextHolder.setDataSourceType(dataSourceName);
   ​String tableName = TableNameUtil.getTableNameByUserId("orders", order.getUserId());String sql = "INSERT INTO " + tableName + " (id, order_date, amount) VALUES (?, ?, ?)";jdbcTemplate.update(sql, order.getId(), order.getOrderDate(), order.getAmount());
   ​DataSourceContextHolder.clearDataSourceType();}}

总结

• 分库：将数据存储到多个数据库中，通过动态数据源选择和路由来决定当前使用的数据库。

• 分表：将数据存储到多个表中，根据分表策略生成动态表名。

• 实现：配置多个数据源，使用动态数据源路由，创建工具类生成表名，并在数据访问层应用这些策略。

这种分库分表策略可以有效地提高系统的性能和可扩展性，尤其适用于大规模数据处理场景。