MYSQL 同步到ES 如何设计架构保持一致性

简单使用某个组件很容易，但是一旦要搬到生产上就要考虑各种各样的异常，保证你方案的可靠性，可恢复性就是我们需要思考的问题。今天来聊聊我们部门在 MYSQL 同步到ES的方案设计。

在面对复杂条件查询时，MYSQL往往显得力不从心，一般公司的做法会通过将mysql中的数据同步到ES，之后的查询就通过ES进行查询，ES在面对多条件复杂查询时，能较快的查询出结果集。

在MYSQL数据 到ES中的数据同步 方案设计上，就有多种选择，

1，
最简单的便是直接在业务代码中对数据库进行修改
，插入，删除时，同步修改ES中的数据。 但
这种方案也是最不可靠的一种设计
。在写入MYSQL后，业务服务宕机了，ES数据就会丢失。如果写入ES失败，重试逻辑将会嵌套在业务代码中，业务代码复杂性增加了，并且如果一直失败，要一直重试吗？

所以，对于这种方案，直接pass掉了。

2，
第二种同步方案则是业界用的比较多的同步方案，通过binlog进行同步
，目前业界已经有比较成熟的模拟mysql从库，拉取binlog的组件，例如阿里开源的
canal
。整个同步架构如下所示，canal组件充当mysql从库的角色，将mysql的binlog拉取下来，由客户端从canal拉取消息进行消费，再由客户端主动插入或者更新ES中的数据。