首页 笔记 图片 查字 
所属分类:Flink
标题:Flink CDC
关键词: Flink CDC
浏览:31
内容:

参考:
https://developer.aliyun.com/article/984320
https://developer.aliyun.com/article/1399426
https://github.com/ververica/flink-cdc-connectors
https://ververica.github.io/flink-cdc-connectors/master/

要点:
CDC是Change Data Capture(变更数据捕获)的简称。
其核⼼原理是监测并捕获数据库的变动(增删改等),将这些变更按发⽣的顺序捕获,当然也可以写⼊到消息队列中供其他服务消费。

Flink CDC是Flink社区开发的flink-cdc-connectors 组件,这是⼀个可以直接从 MySQL、PostgreSQL 等数据库直接 读取全量数据和增量变更数据的 source 组件。 ⽬前也已开源,开源地址:
https://github.com/ververica/flink-cdc-connectors
https://ververica.github.io/flink-cdc-connectors/master/

Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本,3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义,自此 Flink CDC 从捕获数据变更的 Flink 数据源正式迈向为以 Flink 为基础的端到端流式 ELT 数据集成框架。
在该版本中,社区首先支持实时同步 MySQL 数据至 Apache Doris 和 StarRocks 两条链路。