首页 笔记 图片 查字 
所属分类:Flink
浏览:65
内容:

系统架构(客户端,作业管理器(组件:JobMaster、ResourceManager、Dispatcher),任务管理器)


系统架构:
客户端Client
作业管理器JobManager:组件:JobMaster、ResourceManager、Dispatcher
任务管理器TaskManager

客户端Client:客户端不是处理系统的一部分,只负责作业的提交,负责调用程序的main方法,将代码转换成数据流图(Dataflow Graph),并且最终生成作业图(Job Graph),然后发送给JobManager。
    代码->数据流图(Dataflow Graph)->作业图(Job Graph)

作业管理器JobManager:集群中的任务管理和调度中心。
JobMaster:负责处理单独的作业,JobMaster接收要执行的应用,包括:jar包、数据流图、作业图。
ResourceManager:主要负责资源的分配和管理,资源主要是指TaskManager的任务槽。
Dispatcher:主要负责提供一个REST 接口用来提交应用,并且负责为每一个新提交的作业启动一个新的JobMaster组件。

任务管理器TaskManager:集群中的工作进程,也被称为worker