[ Tez基础 ]
[ (思维导图) ] (1949)
－隐藏－
- 引擎 配置
- hive.execution.engine
- yarn.timeline-service.enabled
- hive.tez.log.level
- 内存 配置
- tez.am.resource.memory.mb
- tez.am.launch.cmd-opts
- hive.tez.container.size
- hive.tez.java.opts
- tez.container.max.java.heap.fraction
- tez.runtime.io.sort.mb
- hive.auto.convert.join.noconditionaltask.size
- Map 数量
- tez.grouping.min-size
- tez.grouping.max-size
- tez.grouping.split-count
- Reduce 数量
- hive.tez.auto.reducer.parallelism
- hive.exec.reducers.max
- reducer 数量预估
- tez.min.partition.factor
- tez.max.partition.factor
- tez.shuffle-vertex-manager.min-src-fraction
- tez.shuffle-vertex-manager.max-src-fraction
- tez.shuffle-vertex-manager.[min|max]-src-fraction
- mapred.reduce.tasks
- 总结
- hive.tez.[min|max].partition.factor
- 并发设置
- hive.server2.tez.default.queues
- hive.server2.tez.sessions.per.default.queue
- hive.server2.tez.initialize.default.sessions
- 容器重用和预热容器
- 容器重用
- tez.am.container.reuse.enabled
- 预热容器
- hive.prewarm.enabled
- hive.prewarm.numcontainers
- 通用参数
- hive.cbo.enable
- hive.auto.convert.join
- hive.auto.convert.join.noconditionaltask
- tez.runtime.io.sort.mb
- tez.runtime.unordered.output.buffer.size-mb
- hive.exec.parallel
- hive.vectorized.execution.enabled
- hive.merge.tezfiles
- hive.merge.size.per.task
- hive.merge.smallfiles.avgsize
- tez.am.session.min.held-containers
- hive.mapjoin.hybridgrace.hashtable
- tez.runtime.pipelined.sorter.lazy-allocate.memory
- hive.stats.autogather
- hive.stats.fetch.column.stats
- hive.compute.query.using.stats
- hive.optimize.skewjoin
- hive.groupby.skewindata
- tez.session.am.dag.submit.timeout.secs
- MR和Tez
＋展开＋
执行引擎选择，使用tez引擎时，此值设 ...
是否使用timeline服务，使用ti ...
设置Tez Task的日志级别，默认是 ...
＋展开＋
默认值128，Application ...
Tez AppMaster进程启动期间 ...
默认值128，Tez AppMaste ...
container进程启动期间提供的命 ...
默认值0.8，0.8，如果hive.t ...
默认值512，排序输出时的排序缓冲区大 ...
默认值10000000，如果hive. ...
Tez 确定任务的数量，以使每个任务的 ...
＋展开＋
min-size默认16 MB
max-size默认1 GB
指定分组的数据量，指定之后忽略前两个参 ...
＋展开＋
默认值false，打开Tez的redu ...
设置reducer最大值，默认1009。 ...
预估公式：Hive和Tez都使用此公式 ...
默认值0.25，
默认值2.0，增加此值可以增加Redu ...
默认值0.252，
默认值2，
这两个值效果一致，增加该值则reduc ...
人工设置reduce数量，
不建议使用mapred.reduce. ...
增加此值可以增加Reduce数量，减少 ...
＋展开＋
Tez会话池的YARN队列，用逗号分割。 ...
每个YARN队列在池中的Tez会话数( ...
初始化默认会话，如果启用，HiveSe ...
＋展开＋
这是一种限制启动时间对容器的影响的优化。 ...
＋展开＋
设置为ture，表示打开，
＋展开＋
设置是否开启预热容器
设置预热容器数量
＋展开＋
设置true开启基于成本的优化 (CB ...
设置开启map join自动转换，tr ...
设置无条件map join转换，
设置输出排序时排序缓冲区的大小。建议设 ...
设置输出不需要排序时的内存。如果不直接 ...
设置启用Hive查询阶段的并行执行。默 ...
设置矢量化查询执行，矢量化查询是Hiv ...
设置是否合并文件，默认false。设置 ...
设置作业结束时合并文件的大小。
当平均输出文件大小小于此数字时，Hiv ...
预留最少的container数量，空闲 ...
是否使用混合的操作完成mapjoin， ...
对Tez任务中是否开启软引用的内存惰性 ...
是否开启自动收集统计信息，可以根据an ...
是否开启获取列的统计信息，可以根据an ...
是否开启计算查询使用表的统计信息，可以 ...
是否开启join的数据倾斜优化，根据业 ...
是否开启groupby的数据倾斜优化， ...
Tez的session模式下，AM退出 ...
对于DAG作业，MR会创建多个有依赖关 ...
链接：