使用数据库中间件MyCat+SpringBoot完成分库分表

背景

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而一台服务的资源终究是有限的，因此需要对数据库和表进行拆分，从而更好的提供数据服务。

当用户表达到千万级别，在做很多操作的时候都会很吃力，所以当数据增长到 1000 万以上就需要分库分表来缓解单库（表）的压力。

什么是分库分表

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者 Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

垂直切分的最大特点就是规则简单，实施也更为方便，尤其适合各业务之间的耦合度非常低，相互影响很小，业务逻辑非常清晰的系统。在这种系统中，可以很容易做到将不同业务模块所使用的表分拆到不同的数据库中。根据不同的表来进行拆分，对应用程序的影响也更小，拆分规则也会比较简单清晰。

水平切分于垂直切分相比，相对来说稍微复杂一些。因为要将同一个表中的不同数据拆分到不同的数据库中，对于应用程序来说，拆分规则本身就较根据表名来拆分更为复杂，后期的数据维护也会更为复杂一些。

垂直切分

多个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面。

但是往往系统之有些表难以做到完全的独立，存在跨库 join 的情况，对于这类的表，就需要去做平衡，是数据库让步业务，共用一个数据源，还是分成多个库，业务之间通过接口来做调用。在系统初期，数据量比较少，或者资源有限的情况下，会选择共用数据源，但是当数据发展到了一定的规模，负载很大的情况，就需要必须去做分割。

一般来讲业务存在复杂 join 的场景是难以切分的，往往业务独立的易于切分。如何切分，切分到何种程度是考验技术架构的一个难题。垂直切分的优缺点：

（1）优点

• 拆分后业务清晰，拆分规则明确
• 系统之间整合或扩展容易
• 数据维护简单

（2）缺点

• 部分业务表无法 join，只能通过接口方式解决，提高了系统复杂度
• 受每种业务不同的限制存在单库性能瓶颈，不易数据扩展跟性能提高
• 事务处理复杂

由于垂直切分是按照业务的分类将表分散到不同的库，所以有些业务表会过于庞大，存在单库读写与存储瓶颈，所以就需要水平拆分来做解决。

水平切分

相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中。

拆分数据就需要定义分片规则。关系型数据库是行列的二维模型，拆分的第一原则是找到拆分维度。比如：

从会员的角度来分析，商户订单交易类系统中查询会员某天某月某个订单，那么就需要按照会员结合日期来拆分，不同的数据按照会员 ID 做分组，这样所有的数据查询 join 都会在单库内解决；如果从商户的角度来讲，要查询某个商家某天所有的订单数，就需要按照商户 ID 做拆分；但是如果系统既想按会员拆分，又想按商家数据，则会有一定的困难。如何找到合适的分片规则需要综合考虑衡。

切分原则都是根据业务找到适合的切分规则分散到不同的库，几种典型的分片规则包括：

• 按照用户 ID 求模，将数据分散到不同的数据库，具有相同数据用户的数据都被分散到一个库中
• 按照日期，将不同月甚至日的数据分散到不同的库中
• 按照某个特定的字段求摸，或者根据特定范围段分散到不同的库中

既然数据做了拆分有优点也就优缺点：

（1）优点

• 拆分规则抽象好，join 操作基本可以数据库做
• 不存在单库大数据，高并发的性能瓶颈
• 应用端改造较少
• 提高了系统的稳定性跟负载能力

（2）缺点

• 拆分规则难以抽象
• 分片事务一致性难以解决
• 数据多次扩展难度跟维护量极大
• 跨库 join 性能较差

什么是MyCat

MyCat是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的 Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。

常见应用场景：

• 单纯的读写分离，此时配置最为简单，支持读写分离，主从切换
• 分表分库，对于超过 1000 万的表进行分片，最大支持 1000 亿的单表分片
• 多租户应用，每个应用一个库，但应用程序只连接 Mycat，从而不改造程序本身，实现多租户化
• 报表系统，借助于 MyCat 的分表能力，处理大规模报表的统计
• 替代 Hbase，分析大数据

作为海量数据实时查询的一种简单有效方案，比如 100 亿条频繁查询的记录需要在 3 秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时 MyCat 可能是最简单有效的选择。

SpringBoot+MyCat+MySQL 实现分表分库案例

关于分库分表，MyCat 已经帮我们在内部实现了路由的功能，我们只需要在 MyCat 中配置一下切分规则即可，对于开发者来说，我们就可以把 MyCat 看做是一个数据库，接下来我们开始搭建环境:

（1）MyCat 是使用 Java 写的数据库中间件，所以要运行 MyCat 前要准备要 JDK 的环境，要求是 JDK1.7 以上的环境。所以需要在系统中配置 JAVA_HOME 的环境变量

（2）从官网下载 MyCat，http://dl.mycat.org.cn/ 我们是基于 CentOS 7 来搭建 Mycat 环境的，所以下载版本：Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz

（3）将下载好的安装包上传到服务器上并解压. 解压之后目录结构如下：

bin  catlet  conf  lib  logs  version.txt

（4）配置切分规则

将如下配置复制粘贴覆盖mycat/conf/schema.xml的内容

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

   <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <!-- auto sharding by id (long) -->
        <table name="item" dataNode="dn01,dn02" rule="rule1" />
    </schema>

   <!-- 设置dataNode 对应的数据库，及 MyCat 连接的地址dataHost -->
   <dataNode name="dn01" dataHost="localhost1" database="db01" />
   <dataNode name="dn02" dataHost="localhost1" database="db02" />

   <!-- mycat 逻辑主机dataHost对应的物理主机，其中也设置对应的mysql登陆信息 -->
   <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"
              slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="127.0.0.1:3306" user="root" password="root" ></writeHost>
    </dataHost>
</mycat:schema>

• <schema>: 表示的是在 MyCat 中的逻辑库配置，逻辑库名称为: TESTDB
• <table>: 表示在 MyCat 中的逻辑表配置，逻辑表名称为: user，映射到两个数据库节点dataNode中，切分规则为: rule1(在 rule.xml 配置)
• <dataNode>: 表示数据库节点，这个节点不一定是单节点，可以配置成读写分离
• <dataHost>: 真实的数据库的地址配置
• <heartbeat>: 用户心跳检测
• <writeHost>: 写库的配置

将如下配置复制粘贴覆盖mycat/conf/rule.xml的内容

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
    <tableRule name="rule1">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">2</property>
    </function>
</mycat:rule>

这里定义的是切分规则，是按照id列进行切分，切分规则是采取取模的方式

<property >2</property>: 这里配置了我们有拆分了多个库 (表)，需要和前面配置<table />中的dataNode个数一致，否则会出错

（5）在数据库中创建两个数据库 db01,db02

每个库中执行如下建表语句:

DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
  `id` bigint(20) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

（6）启动 MyCat，执行mycat/bin/startup_nowrap.sh

（7）搭建 Spring Boot 项目，执行插入语句

application.properties配置如下：

#配置数据源
spring.datasource.druid.driver-class-name=com.mysql.jdbc.Driver
#这里配置的是Mycat中server.xml中配置账号密码，不是数据库的密码。
spring.datasource.druid.username=root
spring.datasource.druid.password=123456
#mycat的逻辑库 端口也是mycat的
spring.datasource.druid.url=jdbc:mysql://192.168.12.12:8066/TESTDB

UserMapper.java代码如下：

@Mapper
public interface UserMapper {
    @Insert("insert into user(id,name) value (#{id},#{name})")
    int insert(User user);

    @Select("select * from user")
    List<User> selectAll();
}

UserController.java代码如下：

@RestController
@RequestMapping("/user")
public class UserController {
    @Autowired
    private UserMapper userMapper;

    @RequestMapping("/save")
    public String save(User user){
        userMapper.insert(user);
        return "保存成功";
    }

    @RequestMapping("/list")
    public List<User> list(){
        return userMapper.selectAll();
    }
}

（8）测试

在地址栏输入：

http://localhost:8080/user/save?id=1&name=joe
http://localhost:8080/user/save?id=2&name=tom

查看数据库发现：

• id 为 1 的数据插入到数据库 db02 中的 user 表
• id 为 2 的数据插入到数据库 db01 中的 user 表

在地址栏输入：http://localhost:8080/user/list

是可以看到刚刚插入的两条记录