首页 笔记 图片 查字 
所属分类:Flink
浏览:29
内容:

参考:
https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/connectors/datastream/filesystem/#file-sink

要点:
重要: 在 STREAMING 模式下使用 FileSink 需要开启 Checkpoint 功能。 文件只在 Checkpoint 成功时生成。如果没有开启 Checkpoint 功能,文件将永远停留在 in-progress 或者 pending 的状态,并且下游系统将不能安全读取该文件数据。

final StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();
// 开启checkpoint
environment.enableCheckpointing(5000);
environment.setParallelism(2);

// source端
final DataStream<String> stream = environment.fromSource(source, WatermarkStrategy.noWatermarks(), "test-source");