MySQL数据同步Elasticsearch的4种方案
作者:Java_LingFeng 发布时间:2024-01-28 18:10:49
今天给大家介绍一个电商中常见的场景 —— MySQL 数据同步 Elasticsearch。
商品检索
大家应该都在各种电商网站检索过商品,检索商品一般都是通过什么实现呢?搜索引擎Elasticsearch。
那么问题来了,商品上架,数据一般写入到MySQL的数据库中,那么用于检索的数据又是怎么同步到Elasticsearch的呢?
MySQL同步ES
1.同步双写
这是能想到的最直接的方式,在写入MySQL,直接也同步往ES里写一份数据。
同步双写
对于这种方式:
优点:实现简单
缺点:
业务耦合,商品的管理中耦合大量数据同步代码
影响性能,写入两个存储,响应时间变长
不便扩展:搜索可能有一些个性化需求,需要对数据进行聚合,这种方式不便实现
2.异步双写
我们也很容易想到异步双写的办法,上架商品的时候,先把商品数据丢进MQ,为了解耦合,我们一般会拆分一个搜索服务,由搜索服务去订阅商品变动的消息,来完成同步。
异步双写
前面说的,一些数据需要聚合处理成类似宽表的结构怎么办呢?例如商品库的商品品类、spu、sku表是分开的,但是查询是跨维度的,在ES里再聚合一次效率就低一些,最好就是把商品的数据给聚合起来,在ES里以类似大宽表的形式存储,这样一来查询效率就高一些。
多维度多条件查询
这种其实没什么好办法,基本上还是得搜索服务直接查库,或者远程调用,再查询一遍商品的数据库,就是所谓的回查。
回查完成聚合
这种方式:
优点:
解耦合,商品服务无需关注数据同步
实时性较好,使用MQ,正常情况下,同步完成在秒级
缺点:
引入了新的组件和服务,增加了复杂度
3.定时任务
假如我们要快速搞搞,数据量有没那么大,怎么办呢?定时任务也可以。
定时任务
定时任务,最麻烦的一点是频率不好选,频率高的话,会非自然地形成业务的波峰,导致存储的CPU、内存占用波峰式上升,频率低的话实时性比较差,而且也有波峰的情况。
这种方式:
优点:实现比较简单
缺点:
实时性难以保证
对存储压力较大
4.数据订阅
还有一种方式,就是最时兴的数据订阅。
MySQL通过binlog订阅实现主从同步,各路数据订阅框架比如canal就依据这个原理,将client组件伪装成从库,来实现数据订阅。
MySQL主从同步
我们以应用最广泛的canal为例,canal通过canal-adapter
,支持多种适配器,其中就有ES适配器,通过一些配置,启动之后,就可以直接把MySQL数据同步到ES,这个过程是零代码的。
canal同步数据
但是,和老板了解过,使用canal看起来很美好,帮我们把同步的事情都干了,但其实,还是要写代码。为什么呢?
前面提到的多张表数据聚合,canal的支持没那么好,所以还是得回查。这时候用canal-adapter就不合适了,需要自己实现canal-client,监听和聚合数据,写入ES:
数据订阅+回查
这种看起来和异步双写比较像,但是第一降低了商品服务的耦合,第二数据的实时性更好。
所以使用数据订阅:
优点:
业务入侵较少
实时性较好
至于数据订阅框架的选型,主流的大体上是这些:
Cancal | Maxwell | Python-Mysql-Rplication | |
---|---|---|---|
开源方 | 阿里巴巴 | Zendesk | 社区 |
开发语言 | Java | Java | Python |
活跃度 | 活跃 | 活跃 | 活跃 |
高可用 | 支持 | 支持 | 不支持 |
客户端 | Java/Go/PHP/Python/Rust | 无 | Python |
消息落地 | Kafka/RocketMQ 等 | Kafka/RabbitNQ/Redis 等 | 自定义 |
消息格式 | 自定义 | JSON | 自定义 |
文档详略 | 详细 | 详细 | 详细 |
Boostrap | 不支持 | 支持 | 不支持 |
除了MySQL同步ES,MySQL同步到其它的数据存储,例如HBase,其实大体上都是类似的几种方法。
来源:https://blog.csdn.net/Java_LingFeng/article/details/128672744
猜你喜欢
- 图像处理工具——灰度直方图灰度直方图时图像灰度级的函数,用来描述每个灰度级在图像矩阵中的像素个数或者占有率。例子:矩阵图片来自网络,侵删!上
- jquery模拟SELECT框,效果图如下: <!DOCTYPE html> <html lang="
- 前言硬要说这篇文章怎么来的,那得先从那几个吃野味的人开始说起…… 前天睡醒:假期还有几天;昨天睡醒:假期还有十几天;今天睡醒:假期还有一个月
- 首先要声明的是1,游标的方法会很慢在mysql中,在oracle数据库中还可以,除非没有别的方法,一般不建议在mysql中使用游标,2,不建
- jwt的问题首先说明一个jwt存在的问题,也就是要替换jwt的原因:jwt无法在服务端主动退出的问题jwt无法作废已颁布的令牌,只能等到令牌
- 本文实例讲述了Python获取DLL和EXE文件版本号的方法。分享给大家供大家参考。具体实现方法如下:import win32apidef
- 不要使用Logrus这其实和泛型有关。因为Go语言是一门强类型的静态语言,所以你不可能像NodeJS或者PHP那样绕过数据类型。那如果我们还
- 使用python可以对windows系统的音量进行读取或者设置。平台:visual studio code语言:python需要的pytho
- 对数据库的备份是网站管理人员的必修课,那么常用的数据库备份方式有哪些呢?应如何选择?数据库备份有四种类型,分别应用于不同的场合,下面简要介绍
- 第一步:python解释器,到网上下载安装下就行。网址:https://www.python.org/downloads/windows/值
- (注:在看到大家如此关注JS里头的这几个对象,我试着把原文再修改一下,力求能再详细的阐明个中意义 2007-05-21)在提到上述的概念之前
- 如果把通过函数或方法调用,明确的将某种类型转换成另一种类型称为显示转换 ,相反则称为隐式类型转换 。google和 * 中没有找到“显示类
- 密码算法程序设计实践选的SHA-1。在写的过程中遇到一丢丢关于python移位的问题,记录一下。SHA-1其中第一步需要填充消息。简单阐述一
- 使用element-resize-detector监听元素宽度变化如图,当我们切换左侧菜单展示效果的时候,右侧内容会对应变宽,但此时的ech
- 通过PyFetion可以很方便的使用python来用飞信发送短信,下面贴出代码:from fetion import *import osd
- 首先我们供给一台主机要进行的步骤就是对其主机端口的扫描,查看其中开放的端口。我们首先创建一个TCP的全连接的扫描器。我们使用socket来创
- 获取页面的编码,如果是IE浏览器用document.charset即可获取,如果用firefox需要用document.characterS
- asp连接mysql的问题ASP连接Mysql数据库的问题。下了一个MySql 的ODBC驱动。做了个小测试。顺利通过。先记录下来,中间还有
- 前言python 中 if 的用法(if else, if not, elif)if语句实际上是:if True: …
- 在网页制作中,表单中的对象总是给人一种单调与沉闷的感觉,比如说按钮、文本框等,它们一成不变的模样与颜色