首页 笔记 图片 查字 
所属分类:Flink
关键词: Flink SQL 工作 机制
浏览:120
内容:

Flink SQL 编译及优化过程,包括:

Flink SQL 利用 Apache Calcite 将 SQL 翻译为关系代数表达式,使用表达式折叠(Expression Reduce),下推优化(Predicate / Projection Pushdown )等优化技术生成物理执行计划(Physical Plan),利用 Codegen 技术生成高效执行代码。

Flink SQL 使用高效的二进制数据存储结构 BinaryRow 加速计算性能;使用 Mini-batch 攒批提高吞吐,降低两层聚合时由 Retraction 引起的数据抖动;聚合场景下数据倾斜处理和 Top-N 排序的优化原理。


参考网址:
https://www.sohu.com/a/403982440_465959