如何实现MySQL与Elasticsearch的增量数据同步机制？

本文共计388个文字，预计阅读时间需要2分钟。

参考网上文章，实现增量同步的思路是将MySQL的增删改操作产生的binlog通过Canal中间件增量同步到ES中。具体步骤如下：

1. 使用MySQL 8.0及以上版本和Canal 1.1及以上版本。

2. 配置Canal，使其监听MySQL的binlog。

3. 将监听到的binlog解析成增量数据。

4. 将解析后的增量数据同步到ES中。

5. 持续监听MySQL的binlog，实时同步增量数据。

开始时，需使用以下版本：

- MySQL：8.0- Canal：1.1

参照网上的文章: zhuanlan.zhihu.com/p/521914517 一步步做

实现增量同步思路是: 将mysql增删改操作产生的binlog通过canal中间件增量同步到ES中

一开始犯贱使用的版本是：mysql 8.0、canal 1.1.6、Elasticsearch 8.2.3，所有配置好以后，在mysql中做更新操作发现canal并不能监听到binlog日志，所以想到降ES的版本

后面使用的版本是：mysql 8.0、canal 1.1.5、Elasticsearch 7.13.0

其中遇到的问题：
1.首先canal有三个端：deployer、adapter、admin deployer负责拉binlog，adapter负责将拉到的binlog写入ES相应的索引中，admin就是一个管理端。