mysql分表分库选型

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

三个方向:

一、应用中自己实现，可直连数据库 ，自己实现因目前使用的Mybatis框架可以使用两种做法：

1、在SQL中直接分表逻辑 ，我查了一下代码中的sql，发现join的千姿百态，不大动这些sql这事基本不现实，优点是定制化，针对性比较高，性能方面损耗比较低，调试调优简单，但是扩展性要差一些。

2、在Mybatis的拦截器里对SQL进行截取拼装 ，如果能对指定表做的并对相关表的join sql调整一下的话，就是需要规划下占位符及分表jion策略，另外需要对多种情况进行大量测试，这个策略要比手改sql通用所以也复杂很多，相对于上一条，优缺点都相对模糊一点。

二、直接购买云服务DRDS ，DRDS基于TDDL，但是与我们目前的RDS是不同的产品，切换时可能需要停机，TDDL的重点部分并未开源，对关键点的实现不好评估。DRDS分共享版和专享版两种，价格差别是数量级层面的，共享版比我们目前用的RDS要便宜很多，专享版要贵差不多一倍。据说已经有P2P公司在使用这个产品，推测使用的是最大送达模型，这个模型需要保证幂等，协调者（重试服务）必须高可用。

RDS迁移DRDS需要注意什么？

DRDS用的是最大努力送达？

分页如何处理的，会不会存在每次都是查询0到当前，越翻越慢的问题？

暂不支持非 WHERE 条件的 Correlate Subquery。
暂不支持 SQL 中带聚合条件的 Correlate Subquery。

https://help.aliyun.com/document_detail/49249.html?spm=5176.7947010.211449.2.4oyoNx

https://help.aliyun.com/document_detail/29669.html?spm=5176.7752178.6.586.xoHQwR

另外，阿里云还有全局事务服务，正在公测：https://www.aliyun.com/aliware/txc

三、通过中间件

首先排除掉收费的，之后考察了

MyCAT(https://github.com/MyCATApache) :

社区爱好者在阿里cobar基础上进行二次开发，发现对我们公司不适合分库和多节点情况下使用，然而感觉单库单节点(单RDS主多从，拦截器实现读写分离)情况下，还要为它支出服务器和运维资源有些不值得，而且它本身没有提供高可用，需要另外部署haproxy，还要保证haproxy的高可用。多节点情况下，分页的sql在非第一页的情况下会被改写：

改写的原因应该是多节点数据混合排序，但是每次都是查0到当前最后对我们的应用情况来看，压力有些过，如果只用一个节点，看上去倒是不错

关于分表发现了这么一句注释：

这倒应该不是说不能join，说的应该是不能随意join，我并没花时间细致在代码里证明，它本身提供了一些说明，在join情况下有两种方式可用，一种是全局表，另外一种是join关联条件的数据要保证在同一库上，如果被jion的结果集中有部分数据没在当前SQL执行的所在库上，那么查询结果就是错的

第二个问题是分布式事务，也是多节点，无法保证强一致性：

循环执行收到的请求，如果是提交则执行CommitNodeHandler，如果是回滚则执行RollbackNodeHandler：

public void rollback() {

        final int initCount = session.getTargetCount();

        lock.lock();

        try {

            reset(initCount);

        } finally {

            lock.unlock();

        }

        if (session.closed()) {

            decrementCountToZero();

            return;

        }

        // 执行

        int started = 0;

        for (final RouteResultsetNode node : session.getTargetKeys()) {

            if (node == null) {

                    LOGGER.error("null is contained in RoutResultsetNodes, source = "

                            + session.getSource());

                continue;

            }

            final BackendConnection conn = session.getTarget(node);

            if (conn != null) {

                boolean isClosed=conn.isClosedOrQuit();

                    if(isClosed)

                    {

                        session.getSource().writeErrMessage(ErrorCode.ER_UNKNOWN_ERROR,

                                "receive rollback,but find backend con is closed or quit");

                        LOGGER.error( conn+"receive rollback,but fond backend con is closed or quit");

                    }

                if (LOGGER.isDebugEnabled()) {

                    LOGGER.debug("rollback job run for " + conn);

                }

                if (clearIfSessionClosed(session)) {

                    return;

                }

                conn.setResponseHandler(RollbackNodeHandler.this);

                //support the XA rollback

                if(session.getXaTXID()!=null && conn instanceof  MySQLConnection) {

                    MySQLConnection mysqlCon = (MySQLConnection) conn;

                    String xaTxId = session.getXaTXID();

                    //exeBatch cmd issue : the 2nd package can not receive the response

                    mysqlCon.execCmd("XA END " + xaTxId + ";");

                    mysqlCon.execCmd("XA ROLLBACK " + xaTxId + ";");

                }else {

                    conn.rollback();

                }

                ++started;

            }

        }