关于mysql同步es维护宽表方案的信息

mysql与es查询数据速度原理比较

1、mysql底层B-tree 支持矮胖，高胖的时候就很难受，说白了就是数据量多会增加IO操作。ES底层倒排索引。

2、由于ES是基于RESTfull Web接口的，因此我们直接按照惯例传递JSON参数调用接口即可实现增删改查，并且不需要我们做额外的管理操作就可以直接索引文档，ES已经内置了所有的缺省操作，可以自动帮我们定义类型。

3、全不同应用场景吧，HBase速度比Hive快了不知道多少。HBase是非关系型数据库（KV型），对key做索引，查询速度非常快（相比较Hive），适合实时查询；而Hive是关系型数据结构，适合做后期数据分析。

4、当我们比较写入数据速度时，由于数据存储的方式的原因，jsonb会比json稍微的慢一点。json存储完整复制过来的文本输入，必须一遍又一遍的解析在你调用任何函数的时候。它不支持索引，但你可以为查询创建表达式索引。

5、mysql同一连接下两个不同数据库查询速度不一样的原因：在第一次建立连接时缓存IP和hostname的映射关系，同一主机的后续连接将直接查看hostcache，而不用再次进行DNS解析。hostcache中会包含IP登录失败的错误信息。

相关问答

Q1: canal+Kafka实现mysql与redis数据同步

答案是肯定的，下面通过canal结合Kafka来实现mysql与redis之间的数据同步。架构设计 通过上述结构设计图可以很清晰的知道用到的组件：MySQL、Canal、Kafka、ZooKeeper、Redis。

使用阿里开源的 canal 作为数据同步工具。总的来说有两种方案 本文把两种方式都实现下。如果公司有统一的平台接入binlog的话，canal+mq应该是比较好的解耦的方式。

服务部署：在每个机房都部署一套网关（NG）、注册中心、微服务，尽量避免跨机房调用（就近调用降低延时）。同时，Mysql、Redis等数据存储服务使用同一套“活”集群，同时有另一套备份的Mysql、Redis会做数据同步。

实时数据同步 实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。

Q2: 使用canal将mysql同步到es中

1、嵌套结构解决了我们查询嵌套文档字段的问题，同样的，也可以解决，在es中实现类似mysql的join查询的问题。

2、使用 缓存表方式 ，以MySQL为例，MySQL 有提供缓存表的实现，将目标数据先缓存到缓存表中，再查缓存表中数据。

3、答案是肯定的，下面通过canal结合Kafka来实现mysql与redis之间的数据同步。架构设计 通过上述结构设计图可以很清晰的知道用到的组件：MySQL、Canal、Kafka、ZooKeeper、Redis。

mysql同步es维护宽表方案的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、mysql同步es维护宽表方案的信息别忘了在本站进行查找喔。