首页 笔记 图片 查字 
所属分类:Flink
浏览:36
内容:

参考:

https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/connectors/datastream/guarantees/



要点:

Source端:
+++++++
Source                        |           Guarantees      |           Notes

Apache Kafka                  |           精确一次                |     根据你的版本用恰当的 Kafka 连接器
Amazon Kinesis Data Streams          |    精确一次RabbitMQ                            |    至多一次 (v 0.10) / 精确一次 (v 1.0)Google PubSub                        |    至少一次Collections                          |    精确一次Files                                |    精确一次Sockets                              |    至多一次        


Sink端:
+++++++
Sink                                  |    Guarantees        Notes

Elasticsearch                          |    至少一次Opensearch                      |    至少一次Kafka producer                        |    至少一次 / 精确一次        当使用事务生产者时,保证精确一次 (v 0.11+)
Cassandra sink                        |    至少一次 / 精确一次        只有当更新是幂等时,保证精确一次
Amazon DynamoDB                        |    至少一次Amazon Kinesis Data Streams            |    至少一次Amazon Kinesis Data Firehose          |    至少一次File sinks                            |    精确一次Socket sinks                          |    至少一次Standard output                        |    至少一次Redis sink                            |    至少一次