首页 笔记 图片 查字 
所属分类:Flink
浏览:55
内容:

数据流dataflow:描述了数据如何在不同操作之间流动,Dataflow程序通常表现为有向无环图(DAG)。
执行图ExecutionGraph:转换过程:逻辑图StreamGraph -> 作业图JobGraph -> 逻辑执行图ExecutionGraph -> 物理执行图

逻辑图StreamGraph:用户通过Stream API编写的代码生成的最初的图,表示程序的拓扑结构。
作业图JobGraph:StreamGraph经过优化后生成了JobGraph,主要优化:将多个非shuffle操作的节点chain合并在一起作为一个节点:合并任务链(Operator Chains)
逻辑执行图ExecutionGraph:根据并行度将JobGraph进行并行化。
物理执行图:将ExecutionGraph部署在各个TaskManager上创建Task形成的执行图。