算子设置 > 全局设置 > 集群默认设置 ...

代码：env.disableOpera ...

代码：.startNewChain() ...

代码：.map(...).disabl ...

根据用户使用Stream API编写的 ...

StreamGraph经过优化后生成的 ...

JobManager根据JobGrap ...

在TaskManager上部署Task ...

Flink默认允许slot共享，如果希 ...

slot指一个taskmanager的 ...

负责资源的管理，在整个 Flink 集 ...

负责接收用户提供的作业，并且负责为这个 ...

JobMaster负责管理单个JobG ...

配置 taskmanager.memo ...

配置 jobmanager.memor ...

＋展开＋

• TaskManager 配置
配置 taskmanager.memo ...
• JobManager 配置
Flink总内存 JobManager ...
• Jvm 堆内内存 Heap Memory
＋展开＋
• Framework Heap - 框架堆内内存
Flink框架，即TaskManage ...
• TaskManager Heap配置
Task Heap - Task执行用 ...
• JobManager 配置
配置 jobmanager.memor ...
• Jvm 堆外内存 - Off-Heap Memory
＋展开＋
• TaskManager 配置
＋展开＋
• Managed Memory - 托管内存
由 Flink 管理的用于排序、哈希表 ...
• Directory Memory
＋展开＋
• Framework Off-Heap - 框架堆外内存
用于 Flink 框架的堆外内存（直接 ...
• Task Off-Heap - 任务堆外内存
用于 Flink 应用的算子及用户代码 ...
• Network - 网络内存
网络数据交换所用堆外内存大小，如网络数 ...
• JobManager 配置
配置 jobmanager.memor ...

＋展开＋

• TaskManager配置
Flink JVM 进程的 Metas ...
• JobManager配置
jobmanager.memory.j ...

它是为JVM进程预留的其它本地内存，用 ...

＋展开＋

• TaskManager配置
用于其他 JVM 开销的本地内存，例如 ...
• JobManager配置
用于其他 JVM 开销的本地内存，例如 ...

env.getExecuteEnvir ...

＋展开＋

• 批处理环境
代码：ExecuteEnvironme ...
• 流处理环境
代码：StreamExecuteEnv ...
＋展开＋
• 流执行模式 Streaming
• 批执行模式 Batch
• 自动模式 Automatic

env.execute();

目的是为了在分布式环境中让每一个Tas ...

配置项：jobmanager.exec ...

如果没有启用 checkpointin ...

＋展开＋

• 固定延时重启策略
FixedDelayRestartSt ...
• 故障率重启策略
FailureRateRestartS ...
• 不重启策略
NoRestartStrategy无重 ...
• 指数延迟重启策略
exponential-delay任务 ...

＋展开＋

• 从集合读取
• 从文件读取
• 从Socket读取
• 从Kafka读取
• 自定义Source
• 异步IO
介绍：Async I/O 是阿里巴巴贡 ...

＋展开＋

• 基本转换算子
＋展开＋
• map
• flatMap
• fliter
• 聚合算子 Aggregation
＋展开＋
• keyBy
• reduce
• 自定义函数 UDF
＋展开＋
• 函数类 Function Classes
• 匿名函数
• 富函数 Rich Function Classes
• 分区
＋展开＋
• 逻辑分区/软分区 logical partitioning
keyBy算子
• 物理分区 Physical Partitioning
分布式计算就是把一个作业切分成子任务 ...
＋展开＋
• 随机分区 shuffle
ShufflePartitioner， ...
• 轮询分区 rebalance
RebalancePartitione ...
• 重缩放分区 rescale
RescalePartitioner， ...
• 广播分区 broadcast
BroadcastPartitione ...
• 全局分区 global
GlobalPartitioner，数 ...
• 自定义分区 partitionCustom
CustomPartitionerWr ...
• 按键分区/Hash分区
KeyGroupStreamParti ...
• 前向分区
ForwardPartitioner， ...
• 逻辑分区 vs 物理分区
简单理解：分区：算子的一个并行实例可以 ...
＋展开＋
• keyBy之后得到的是KeyedStream
keyBy()首先要经过一个“逻辑分区 ...
• 物理分区之后得到的仍是DataStream
可以控制从键计算出来的操作符索引，但是 ...

＋展开＋

• 连接到外部系统
• 文件
• Kafka
• Redis
• Elasticsearch
• MySQL
• 自定义输出

1、classloader.check ...

异常信息1：java.lang.Ill ...

区别：单作业模式是通过客户端来提交的， ...

＋展开＋

• 会话模式 Session Mode
由Client提交，做一些预备工作。但 ...
• 单作业模式 Per-Job Mode
可以理解为 Client 模式的App ...
• 应用模式 Application Mode
Flink提交的程序，被当做集群内部A ...

＋展开＋

• Local 本地模式
Flink以单机模式运行，无需启动分布 ...
• Standalone 独立模式
Flink作为一个独立的集群运行，需要 ...
• Flink On Yarn 模式
Flink在YARN之上运行，Flin ...

命令模式：./flink [OPTI ...

＋展开＋

• run
1、Action "run" comp ...
• run-application
2、Action "run-appli ...
• info
3、Action "info" sho ...
• list
4、Action "list" lis ...
• stop
5、Action "stop" sto ...
• cancel
6、Action "cancel" c ...
• savepoint
7、Action "savepoint ...

Usage: Optional ...

＋展开＋

• 事件时间 Event Time
事件时间指的是数据流中每个元素或者每个 ...
• 处理时间 Processing Time
事件处理事件指算子使用当前机器的系统时 ...
• 摄入时间 Ingestion Time
摄入时间指的是事件到达Flink So ...

基于事件时间提出的概念，自定义的逻辑时 ...

＋展开＋

• 水位线机制
水位线是专门用来解决流式环境中数据迟到 ...
• 水位线计算
watermark = 进入 Flin ...
• 水位线特性
• 水位线生成
＋展开＋
• 水位线策略 WatermarkStrategy
＋展开＋
• 时间戳分配器 TimestampAssigner
从数据流中的事件数据的某个字段中提取时 ...
• 水位线生成器 WatermarkGenerator
按照既定的方式，基于时间戳生成水位线。 ...
＋展开＋
• onEvent
为每个到来的事件数据调用该方法。
• onPeriodicEmit
周期性调用的方法，默认200ms，可以 ...
• 生成策略
＋展开＋
• 单调递增策略
方法名：WatermarkStrate ...
• 固定延迟策略
方法名：WatermarkStrate ...
• 不生成策略
方法名：WatermarkStrate ...
• 自定义水位线
实现类：TimestampAssign ...
＋展开＋
• 周期性水位线生成器
（Periodic Generator ...
• 断点式水位线生成器
（Punctuated Generat ...

＋展开＋

• 数据块
将无限数据切割成有限的“数据块”进行处 ...
• 存储桶
将数据流切割成有限大小的多个“存储桶” ...

窗口的生命周期：指创建和销毁窗口。窗口 ...

＋展开＋

• 按照驱动类型分类
＋展开＋
• 时间窗口 Time Window
• 计数窗口 Count Window
• 按照分配规则分类
＋展开＋
• 滚动窗口 Tumbling Windows
• 滑动窗口 Sliding Windows
• 会话窗口 Session Windows
• 全局窗口 Global Windows

＋展开＋

• 按键分区窗口
Keyed Windows，strea ...
• 非按键分区窗口
Non-Keyed Windows，代 ...

＋展开＋

• 时间窗口
＋展开＋
• 滚动时间窗口
TumblingProcessingT ...
• 滑动时间窗口
SlidingProcessingTi ...
• 会话时间窗口
ProcessingTimeSessi ...
• 事件窗口
＋展开＋
• 滚动事件窗口
TumblingEventTimeWi ...
• 滑动事件窗口
SlidingEventTimeWin ...
• 会话事件窗口
EventTimeSessionWin ...
• 计数窗口
＋展开＋
• 滚动计数窗口
stream.keyBy(...).c ...
• 滑动计数窗口
stream.keyBy(...).c ...

＋展开＋

• 流转换
＋展开＋
• DataStream
DS (keyBy)-> KS , D ...
• AllWindowStream
AWS (reduce,aggrega ...
• KeyedStream
KS (sum,max,min,red ...
• WindowedStream
WS (reduce,aggrete, ...
• 分类
＋展开＋
• 增量聚合函数
Increamental Aggreg ...
＋展开＋
• 归约函数 ReduceFunction
• 聚合函数 AggregateFunction
＋展开＋
• 输入类型 IN
• 累加器类型 ACC
• 输出类型 OUT
• 全窗口函数
Full Window Functio ...
＋展开＋
• 窗口函数
WindowFunction，stre ...
• 处理窗口函数
ProcessWindowFuncti ...
• 其它API
＋展开＋
• 触发器 Trigger
＋展开＋
• onElement()
• onEventTime()
• onProcessingTime()
• clear()
• 移除器 Evictor
＋展开＋
• evictBefore()
• evictAfter()
• 允许延迟 Allowed Lateness
stream.keyBy(...).w ...
• 测输出流 Side Output
OutputTag outputTag ...
• 处理函数
＋展开＋
• 基本处理函数 ProcessFunction
＋展开＋
• ProcessFunction
• KeyedProcessFunction
• ProcessWindowFunction
• ProcessAllWindowFunction
• CoProcessFunction
• ProcessJoinFunction
• BroadcastProcessFunction
• KeyedBroadcastProcessFunction
• 按键分区处理函数 KeyedProcessFunction
＋展开＋
• 定时器 Timer
• 定时服务 TimerService

DataStream 是 Flink ...

KeyedStream根据指定的key ...

WindowedStream是根据ke ...

在普通流上进行窗口操作时，需要用到 A ...

JoinedStreams 基于 Wi ...

co-group 侧重的是分组(gro ...

ConnectedStreams 只能 ...

用于动态读取经常修改的配置信息使用键值 ...

＋展开＋

• 测输出流 Side Output
通常使用处理函数 Process Fu ...
• filter 分流
需要多次filter才能实现分流，即需 ...
• split 分流
将不同类型的数据进行标记，最后返回Sp ...

＋展开＋

• 联合 Union
并之后的新流会包括所有流中的元素，数据 ...
• 连接 Connect
＋展开＋
• 连接流 ConnectedStreams
两条流在形式上“统一”，放在同一个流中 ...
• 广播连接流 BroadcastConnectedStream
合并DataStream流和Broad ...
• 双流联结 Join
＋展开＋
• 窗口联结 Window Join
处理流程，两条流的数据到来之后，首先会 ...
• 间隔联结 Interval Join
间隔联结具体的定义方式是，给定两个时间 ...
• 窗口同组联结 Window CoGroup
用法跟 window join 非常类 ...

Java Tuples and Sca ...

Primitive TypesFlin ...

General Class Types ...

＋展开＋

• 无状态算子
map,flatMap,filter ...
• 有状态算子

＋展开＋

• 原始状态 Raw State
• 托管状态 Managed State
＋展开＋
• 按键分区状态 Keyed State
＋展开＋
• 状态结构类型
＋展开＋
• 值状态 ValueState
• 列表状态 ListState
• 映射状态 MapState
• 规约状态 ReducingState
• 聚合状态 AggregatingState
• 状态生存时间 TTL
time-to-live
＋展开＋
• StateTtlConfig
需要创建StateTtlConfig配 ...
• 算子状态 Operator State
涉及到重分区后状态的重组分配。
＋展开＋
• 状态结构类型
＋展开＋
• 列表状态 ListState
子任务以轮询方式round-robin ...
• 联合列表状态 UnionListState
子任务以联合重组方式选择要使用的状态项。 ...
• 广播状态 BroadcastState
以映射结构map的键值对key-val ...
• 广播状态 Broadcast State
适用于动态配置/动态规则。

＋展开＋

• 检查点 Checkpoint
• 状态后端 State Backends
状态的存储访问维护，有一个可插拔的组件 ...
＋展开＋
• 分类1
＋展开＋
• 哈希表状态后端 HashMapStateBackend
底层是HashMap结构。
• 内嵌RocksDB状态后端 EmbeddedRocksDBStateBackend
底层是key-value存储介质。执行 ...
• 分类2
＋展开＋
• 内存 MemoryStateBackend
基于内存，不安全。不常用。配置：sta ...
• 文件系统 FsStateBackend
文件系统的状态后端，就是把状态保存在文 ...
• RocksDB数据库 RocksDBStateBackend
把状态保存在RocksDB数据库中。R ...
• 配置
＋展开＋
• 全局配置
flink-conf.yaml 修改 ...
• 单独配置
为每个作业单独配置 env.setSt ...

＋展开＋

• 周期性产生
检查点是周期性的触发保存。屏障由Fli ...
• 运行机制
检查点保存要等所有任务将同一条数据处理 ...

检查点恢复流程：首先客户端提供 Che ...

＋展开＋

• 重启应用
• 读取检查点并重置状态
• 重放数据
• 继续处理数据

＋展开＋

• Chandy-Lamport 算法
Flink采用了基于此算法的分布式快照。 ...
• 检查点分界线 Checkpoint Barrier
由source端在数据流中插入的一个标 ...
• 检查点协调器 Checkpoint Coordinator
专门用来协调处理检查点的相关工作。
• 分布式快照算法
＋展开＋
• 分界线传递规则
＋展开＋
• 单个上游向多个下游发送barrier
需要广播出去。
• 多个上游向单个下游发送barrier
执行 分界线对齐 (barrier a ...
• JobManager发送检查点保存指令
• 检查点状态保存完成并向下游传递分界线
• 向下游多个并行子任务广播分界线并执行对齐
• 分界线对齐后状态保存到持久存储
• 处理换存数据并继续处理其它数据

＋展开＋

• 检查点启用
env.enableCheckpoin ...
• 检查点存储 Checkpoint Storage
env.getCheckpointCo ...
• 其它配置
checkpointConfig.se ...

＋展开＋

• 对齐
在Flink的检查点机制中，屏障（ba ...
• 对齐的缺点
阻塞式的，如果出现反压，算子处理缓慢， ...
• 非对齐
意思就是非对齐检查点取消了屏障对齐操作 ...
• 区别
对齐检查点在最后一个屏障到达算子时触发 ...

轻量级异步屏障快照（ABS）算法：Fl ...

＋展开＋

• 版本管理/归档存储
• 更新Flink版本
• 更新应用程序
• 调整并行度
• 暂停应用程序

＋展开＋

• 创建保存点
bin/flink savepoint ...
• 重启应用
bin/flink run -s :s ...

一致性就是结果的正确性。

＋展开＋

• 最多一次 AT-MOST-ONCE
• 至少一次 AT-LEAST-ONCE
• 精确一次 EXACTLY-ONCE
＋展开＋
• 一致性检查点
Flink使用一种轻量级快照机制（检查 ...

即结果的正确性贯穿整个流处理应用的始终 ...

＋展开＋

• 端到端 Exactly-Once
＋展开＋
• 应用内部
使用checkpoint进行保证。
• Source 端
可以重置数据的读取位置。
• Sink 端
从故障恢复时候，数据不会重复写入外部系统 ...
＋展开＋
• 幂等写入 Idempotent Writes
即一个操作被重复执行多次，但是修改的结 ...
• 事务写入 Transactional Writes
应用中一系列的操作，要么全部成功，要么 ...
＋展开＋
• 预写日志 Write-Ahead-Log WAL
实现代码GenericWriteAhe ...
• 两阶段提交 Two-Phase-Commit 2PC
实现代码TwoPhaseCommitS ...
＋展开＋
• 预提交
对于每个checkpoint，sink ...
• 正式提交
收到checkpoint完成时候，才正 ...
• 实现函数类 TwoPhaseCommitSinkFunction
beginTransaction(开启 ...

Java 的 Table API 通过 ...

Table API 是批处理和流处理的 ...

＋展开＋

• 三个组成部分
三部分：catalog名称，数据库名称 ...
• 外部表 Table
描述外部数据，如：文件 hdfs、消息 ...
• 视图 View
＋展开＋
• 普通视图 view
从已经存在的表中创建，视图一般是一个S ...
• 物化视图 materialized view
物化视图就是可以实际存储数据的视图，f ...
• 临时表
通常保持于内存中并且仅在创建它们的fl ...
• 永久表
需要外部catalog来持久化表的元数 ...
• 屏蔽 Shadowing
可以使用与已存在的永久表相同的标识符去 ...
• 时态表 Temporal Tables
时态表（Temporal Table） ...

＋展开＋

• 表环境 TableEnvironment
功能：注册Catalog和表，直线SQ ...

＋展开＋

• 连接器表 Connector Tables
通过连接器connector连接到一个 ...
• 虚拟表 Virtual Tables
创建虚拟试图 tableEnv.cre ...
• 创建表的代码例子
创建输入表，连接外部系统读取数据tab ...

＋展开＋

• SQL查询
tableEnv.sqlQuery(" ...
• Table API查询
Table API是嵌入式编程语言中的 ...

注册一个（连接器）表，连接到外部系统， ...

＋展开＋

• 表转换为流 Table to DataStream
tableEnv.toDataStre ...
• 流转换为表 DataStream to Table
＋展开＋
• 调用方法
fromDataStream()方法， ...
• 数据类型
＋展开＋
• 原子类型
• Tuple类型
• POJO类型
• Row类型
＋展开＋
• RowKind

流处理面对的数据是连续不断的，所以流处 ...

＋展开＋

• 表转换为流
将一个 Table 转换成 DataS ...
• 流、表、查询关系
1、将流转换为动态表。2、在动态表上计 ...
• 动态表 Dynamic Tables
动态表随时间而变化，查询动态表需要产生 ...
• 持续查询 Continuous Query
执行步骤：1、流转换为动态表，2、在此 ...
• 在流上定义表
如果把流看作一张表，那么流中每个数据的 ...
• SQL持续查询
在动态表上执行连续查询，并生成新的动态 ...
＋展开＋
• 更新Update查询
定义的结果表的更新日志流中，保护了in ...
• 追加Append查询
定义的结果表的更新日志流中，只有ins ...
• 查询限制
有些持续查询的计算代价太高，需要受到限 ...
＋展开＋
• 状态大小
代码：从TableEnvironmen ...
• 更新计算
某些查询可能需要重新计算和更新大部分发 ...
• 动态表转换为流
将动态表转换为 DataStream ...
＋展开＋
• 仅追加Append-Only流
仅通过插入insert来修改的动态表， ...
• 变更日志流 ChangeLog
＋展开＋
• 回撤Retract流
retract(回撤)流是包含两种类型 ...
＋展开＋
• 添加add消息
• 撤回retact消息
• 编码规则
＋展开＋
• Insert插入操作
将INSERT 操作编码为 add m ...
• Delete删除操作
将 DELETE 操作编码为 retr ...
• Update更新操作
将 UPDATE 操作编码为更新(先前 ...
• 更新插入Upsert流
upsert流是一种包含两种消息，up ...
＋展开＋
• 更新插入upsert消息
• 删除delete消息
• 编码规则
＋展开＋
• Insert插入操作 和 Update更新操作
将 INSERT 和 UPDATE 操 ...
• Delete删除操作
将 DELETE 操作编码为 dele ...
• 回撤Retract流 vs 更新插入Upsert流
upsert 流对于UPADTE操作引 ...

＋展开＋

• 时间属性
＋展开＋
• 事件时间
＋展开＋
• 创建表中定义
create table TmpTab ...
• 流转换为表中定义
自定义提取时间戳和生成水位线strea ...
• 处理时间
＋展开＋
• 创建表中定义
create table TmpTab ...
• 流转换为表中定义
定义流stream = ...;将额外 ...
• 窗口
＋展开＋
• 窗口分类
＋展开＋
• 分组窗口 Group Windows
老版本中使用
• Over 窗口 Over Windows
• 窗口函数
＋展开＋
• 滚动窗口 TUMBLE
• 滑动窗口 HOP 跳跃窗口
• 累积窗口 CUMULATE
• 窗口偏移量 Window Offset

＋展开＋

• 声明式
Flink 顶层API，稳定、易使用。 ...
• 流批一体
统一的开发体验，语义一致性。
• 自动优化
屏蔽流计算State复杂性，自动优化P ...
• 应用广泛
数据集成，实时报表，实时风控，

＋展开＋

• 启动客户端
./bin/sql-client.sh ...
• 设置运行模式
set 'execution.runt ...
• 使用 savepoint
查看job信息：show jobs;停 ...

＋展开＋

• 解析引擎
＋展开＋
• JavaCC (Java Compiler Compiler)
JavaCC 是一个开源的语法分析器生 ...
• Apache Calcite
Calcite使用Java CC对SQ ...
＋展开＋
• 解析过程
＋展开＋
• Parse阶段
SQL 解析阶段（SQL–>SqlNo ...
• Validate阶段
SqlNode 验证（SqlNode– ...
• TranslateToRel阶段
生成逻辑计划阶段。语义分析（SqlNo ...
• Optimize阶段
优化阶段（Logical RelNod ...
＋展开＋
• SubQuery Decorrellation 子查询拆解
• Fliter/Project Pushdown 过滤映射下推
• Join Recorder 连接记录
• Execute阶段
生成ExecutionPlan，生成物 ...
• ++ Trasnformations阶段
Physical Plan使用code ...
＋展开＋
• Code Optimizations
• State-of-art Opertors
• Resource Optimizations
• ++ Job Graph
ransformations之后生成J ...
• Changelog机制 Changelog Mechansim
也可以叫做Retraction机制。在 ...
＋展开＋
• 确定node该产生消息类型
＋展开＋
• 消息类型
flink流处理的动态实时表有三种操作 ...
• 确定update消息内容
＋展开＋
• 消息内容
一个update消息有两个内容：upd ...
• 优化操作
＋展开＋
• 内部数据结构优化
原有row对象结构：1.占用过多空间; ...
• 预聚合策略
table.optimizer.agg ...
• 支持微批
开启支持微批 table.exec.m ...
• top-n策略优化
使用计算top n来替代实时计算中的全 ...

＋展开＋

• 聚合查询 Aggregation
＋展开＋
• 分组聚合 Group Aggregation
状态TTL：You can provi ...
＋展开＋
• DISTINCT Aggregation
• GROUPING SETS
• ROLLUP
• CUBE
• HAVING
• 窗口聚合 Window Aggregation
select user, window ...
＋展开＋
• 窗口表值函数 Windowing TVFs
Windowing table-val ...
＋展开＋
• 表函数
＋展开＋
• 窗口起始点 window_start
• 窗口结束点 window_end
• 窗口时间 window_time
window_time = windo ...
• 分类
＋展开＋
• 滚动窗口 Tumbling Windows
tumble(table TmpTab ...
• 滑动窗口 Hop Wiondows 跳跃窗口
hop(table TmpTable, ...
• 累积窗口 Cumulate Windows
cumulate(table TmpT ...
＋展开＋
• 最大窗口长度 max window size
• 累积步长 step
• 会话窗口 Session Windows
• 多维分析 grouping sets
例子：select window_st ...
• 分组窗口聚合 Group Window Aggregation
从1.13版本开始，已经过时。直接把窗 ...
• 开窗聚合 Over Aggregation (Over聚合)
针对某一行的前后的行数开窗来统计计算。 ...
＋展开＋
• Over子句
＋展开＋
• partition by
• order by
• 开窗范围
between ... precedi ...
• 范围间隔
range between inter ...
• 行间隔
rows between 5 prec ...
• 例子 - 时间区间聚合
例子1：select id, et, ...
• 例子 - 行数聚合
例子1：select id, et, ...
• 联结查询 Join
＋展开＋
• 常规联结查询 Regular Join
这种方式需要保留两个流的状态，持续性地 ...
＋展开＋
• 等值内联结 Inner Equl-Join
返回受连接条件限制的简单笛卡尔积。 目 ...
• 等值外联结 Outer Equl-Join
返回合格笛卡尔积中的所有行（即所有通过 ...
• 间隔联结查询 Interval Join
返回一个受连接条件和时间约束限制的结果。 ...
＋展开＋
• 两表联结
间隔联结不需要用 JOIN 关键字，直 ...
• 联结条件
联结条件用 WHERE 子句来定义，用 ...
• 时间间隔限制
可以在 WHERE 子句中，联结条件后 ...
• 时间联结查询 Temporal Join
Temporal table在 Fli ...
＋展开＋
• 版本表 Versioned Table
• Event Time Temporal Join 事件时间时态联接
时态联接接受任意一个表(左侧输入) ， ...
• Processing Time Temporal Join 处理时间时态连接
使用处理时间属性，join 将始终返回 ...
• Temporal Table Function Join 时态表函数连接
使用时态表函数连接表的语法与使用表函数 ...
• 维度联结查询 Lookup Join
A lookup join is ty ...

概述：  &nbs ...

＋展开＋

• 标量函数 Scalar Functions
概述：  &nbs ...
＋展开＋
• 分组函数
• 值获取函数
• 哈希函数
• 比较函数 Comparison Functions
• 逻辑函数 Logical Functions
• 算术函数 Arithmetic Functions
• 字符串函数 String Functions
• 时间函数 Temporal Functions
• 值构建函数
• JSON 函数
• 集合函数
• 类型转换函数
• 条件函数
• 聚合函数 Aggregate Functions
概述：  &nbs ...
＋展开＋
• Count()
• Sum()
• Rank()
• Row_number()
• 列函数
概述：  &nbs ...

概述：  &nbs ...

＋展开＋

• 分类
＋展开＋
• 标量函数 Scalar Functions
• 表函数 Table Functions
• 聚合函数 Aggregate Functions
• 表聚合函数 Table Aggregate Functions

＋展开＋

• CoreModule
CoreModule contains ...
• HiveModule
The HiveModule prov ...
• User-Defined Module
Users can develop c ...

upsert kafka

Bounded and Unbound ...

＋展开＋

• Hive目录
HiveCatalog
• Hive元数据
Metastore
• 设置方言
default和hive ， set ...

一般上1个CPU配置4G内存

＋展开＋

• 标准Flink任务提交命令 Generic CLI 通用客户端
bin/flink run -t y ...

＋展开＋

• 最优并行度计算
进行压测，并行度10个以下，公式：总Q ...
• Source端并行度配置
如果source是kafka，并行度设 ...
• Transform端并行度配置
一对一算子并行度可以和source端一 ...
• Sink端并行度设置
根据sink端的数据量以及下游服务的抗 ...

RocksDB是基于LSM Tree实 ...

Checkpoint的时间间隔可以设置 ...

＋展开＋

• 开启checkpoint设置时间间隔
开启checkpoint，时间间隔3分 ...
• 配置checkpoint数据一致性
配置checkpoint数据一致性：c ...
• 最小时间间隔4分钟
最小时间间隔4分钟：checkpoin ...
• 设置超时时间
超时时间10分钟：checkpoint ...

＋展开＋

• 读取运行参数
ParameterTool param ...
• 读取系统属性
通过ParameterTool.fro ...
• 读取配置文件
通过ParameterTool.fro ...
• 注册全局参数
使用env.getConfig().s ...

Flink通过对运行中的任务进行采样来 ...

＋展开＋

• 利用Flink Web UI定位反压位置
排查时候先把operator chai ...
• 利用Metrics定位反压位置
Metrics 指标：outPoolU ...

＋展开＋

• 系统资源
可以借助分析工具，分析性能瓶颈。
• 垃圾回收GC
长时间GC暂停会导致性能问题。打印GC ...
• CPU/线程瓶颈
• 线程竞争
（检查程序代码是否有问题）
• 负载不平衡
如果是数据倾斜引起的，通过数据分区ke ...
• 外部依赖
source端或者sink端效率低下， ...
• 火焰图分析
＋展开＋
• rest.flamegraph.enabled:true
开启火焰图分析配置项，默认false ...
＋展开＋
• On-CPU
状态为[Running, New]的线程 ...
• Off-CPU
状态为[Timed_Waiting, ...

通过Flink Web UI观察每个子 ...

＋展开＋

• keyBy之前发生数据倾斜
使用重分区操作：shuffle、reb ...
• keyBy之后聚合操作发生数据倾斜
使用预聚合的方式比较好，普通算子：定时 ...
• keyBy之后窗口聚合操作发生数据倾斜
使用map端key+随机数，进行key ...

指Flink在运行过程中，动态发现to ...

用处不是很大

指topic的一个分区在一段时间内没有 ...

＋展开＋

• setStartFromGroupOffsets()
默认消费策略，读取上次保存的offse ...
• setStartFromEarliest()
从最早的数据开始消费
• setStartFromLatest()
从最新的数据开发消费
• setStartFromSpecificOffsets(Map)
从指定位置开始消费
• setStartFromTimestamps(Long)
从指定的时间点开始消费
• 开启checkpoint支持容错的kafka consumer

可以设置空闲状态的最小保留时间，TTL ...

＋展开＋

• 设置空闲状态的超时时长
设置空闲状态的超时时间1小时。 tab ...

配置项： table.exec.so ...

minibatch微批处理指的是缓存一 ...

＋展开＋

• 开启MiniBatch 提升吞吐
＋展开＋
• 代码获取tableEnv对象
获取表环境tEnv的参数配置对象：Co ...
• 代码中开启 minibatch
开启 minibatch：config ...
• 代码设置批量输出时间间隔
批量输出时间间隔代码：configur ...
• 代码设置每个批次最多缓存数据的条数
为防止oom，设置每个批次最多缓存数据 ...
• 开启LocalGloabl 解决常见数据热点问题
LocalGloabl指将原来的Agg ...
＋展开＋
• 代码开启 LocalGloabl 优化，两阶段优化
开启 LocalGloabl 优化： ...
• 开启Split Distinct 解决count distinct热点问题
count distinct在loca ...
＋展开＋
• 开启split distinct优化
开启split distinct，默认 ...
• split distinct优化在第一层聚合被打散的bucket数量
split distinct优化在第一 ...
• 使用Agg With Filter语法 提升count distinct性能
在某些场景下，从多个维度统计UV，会使 ...
• 重用重复的子计划
flink优化器尝试找出重复的子计划并 ...

＋展开＋

• 使用最优算法
＋展开＋
• UpdateFastRank 最优算法
需要两个条件：输入流有Primary ...
• AppendFast 只追加结果，不更新结果
• RetractRank 普通算法，性能不好
生产环境不建议使用。如果有Primar ...
• 无排名优化 解决数据膨胀问题
• 增加TopN的Cache大小
当Primary Key维度比较大时候 ...
• Partition By增加时间类型字段
分区加上日期字段，防止结果由于Stat ...

保留第一条记录或者最后一条记录。

＋展开＋

• 保留首行 Deduplicate Keep FirstRow
row_number() over(p ...
• 保留末行 Deduplicate Keep LastRow
row_number() over(p ...

＋展开＋

• 优先使用内置函数
• 注意使用Like操作
• 谨慎使用正则函数 regexp

＋展开＋

• 代码指定时区
指定时区：configuration. ...

配置项：table.exec.sour ...

配置项：table.exec.sink ...

配置项：table.exec.reso ...

flink优化器将做谓词下推到flit ...