是有facebook开源，基于hado ...

是一个hadoop客户端工具，用于将H ...

提供 JDBC/ODBC接口，为用户提 ...

＋展开＋

• 用户访问权限
hive.server2.enable ...

为Hive CLI或者Hiveserv ...

＋展开＋

• 嵌入式模式
• 独立服务模式
默认模式。

＋展开＋

• SQL Parser 解析器
将sql字符串转换成抽象语法树AST， ...
• Semantic Analyzer 语义分析器
语义分析器遍历 AST 抽象出 Que ...
• Logical Plan Gen 逻辑计划生成器
逻辑计划生成器遍历 QueryBloc ...
• Logical Optimizer 逻辑优化器
逻辑计划优化器对 OperatorTr ...
• Physical Plan Gen 物理计划生成器
物理计划生成器遍历 OperatorT ...
• Physical Optimizer 物理优化器
物理计划优化器再对 TaskTree ...
• Execution 执行器
执行物理计划，得到结果并返回。

MR、spark、tez，默认MR。 ...

＋展开＋

• 执行引擎
＋展开＋
• MR - MapReduce
是一种离线计算框架，将一个算法抽象成M ...
• tez
是基于Hadoop YARN之上的DA ...
• spark
Hive on Spark总体的设计思 ...
• 配置参数
hive.execution.engi ...
• Hive on Spark 对比 Spark on Hive
＋展开＋
• Hive on Spark
Hive既作为存储元数据又负责SQL的 ...
• Spark on Hive
Hive只作为存储元数据（提供数据源） ...

＋展开＋

• hive
• beeline

＋展开＋

• tinyint
• smallint
• int
• bigint
• float
• double
• boolean
• string
• timestamp
• binary

＋展开＋

• array
• map
• struct

＋展开＋

• 隐式转换
类型可以向范围更大的类型隐式转换。
• 显式转换
cast(feild as )

按照取值范围进行从小到大排序，转换对照 ...

＋展开＋

• void
• boolean
• tinyint
• smallint
• int
• bigint
• float
• double
• decimal
• string
• varchar
• timestamp
• date
• binary

＋展开＋

• 数据库 Database
＋展开＋
• 创建数据库
create database dbn ...
• 查询数据库
show databases ;
• 修改数据库
alter database;数据库可 ...
＋展开＋
• dbproperties
• location
• owner user
• 删除数据库
drop database ;
• 表 Table
＋展开＋
• 创建表
＋展开＋
• create table ...
＋展开＋
• 管理表
• 外部表 external
• 分区表 partitioned by
＋展开＋
• 创建分区
create table part_t ...
• 查看分区
show partitions par ...
• 增加分区
alter table part_ta ...
• 删除分区
alter table part_ta ...
• 修复分区
＋展开＋
• add partition
• drop partition
• msck
msck repair table p ...
• 二级分区表
create table table_ ...
• 动态分区表
＋展开＋
• 相关参数
set hive.exec.dynam ...
• 临时表 temporary
• 分桶表
create table table_ ...
＋展开＋
• 分桶排序表
create table table_ ...
• 序列化 row format
serde 序列号和反序列化器，默认 ...
＋展开＋
• delimited
每个字段按照特定分隔符进行分割。
• fields teminated by
列分隔符
• collection items teminated by
map,struct,array中元素 ...
• map keys terminate by
map中key与value的分隔符
• lines terminated by
行分隔符
• null defined as
空值符号
• 文件格式 stored as
• 存储位置 location
• 配置参数 tblproperties
• create table as select ... (CTAS)
这种方式建表不允许构建外部表
• create table like ...
复制表结构
• 查看表
show tables; desc t ...
• 修改表
＋展开＋
• 表重命名
alter table ... ren ...
• 修改列信息
修改的都是元数据
＋展开＋
• 增加列
alter table ... add ...
• 更新列
alter table ... cha ...
• 替换列
重新定义表中所有列， alter ta ...
• 删除表
drop table table_na ...
• 清空表
truncate table tabl ...

＋展开＋

• load
load data inpath '' ...
• insert
＋展开＋
• 将查询结果写入表
isnert into table t ...
• 将给定数据写入表
insert into table t ...
• 将查询结果写入路径
insert overwrite di ...
• export/import
export table table_ ...

＋展开＋

• 基本查询
select * from table ...
＋展开＋
• 查全表
• 查指定列
• 列别名
• limit语句
• where语句
• group by语句

＋展开＋

• 操作符
＋展开＋
• 操作符优先级
• 关系运算符
主要用于where和having语句中 ...
• 数学运算符
• 逻辑运算符
• 字符串运算符
• 符合类型运算符
• 函数
＋展开＋
• 查看函数命令
show functions; des ...
• 单行输入，单行输出
＋展开＋
• 数学函数
＋展开＋
• round
• ceil
• 集合函数
＋展开＋
• size
• map
• map_keys
• map_values
• array
• array_countains
• sort_array
• struct
• named_struct
• 类型转换函数
• 日期函数
＋展开＋
• unix_timestamp
• from_unixtime
• current_date
• current_timestamp
• month
• 条件函数
• 字符串函数
• 数据屏蔽函数
• 流程控制函数
＋展开＋
• case when
• if
• 多行输入，单行输出
＋展开＋
• 聚合函数
＋展开＋
• count
count(*)，count(1)：对 ...
• max
• min
• sum
• avg
• 高级聚合函数
＋展开＋
• collect_list
• collect_set
• 单行输入，多行输出
＋展开＋
• 炸裂函数
＋展开＋
• explode
展开array或者Map，对一行数据进 ...
＋展开＋
• explode(array<T>)
• explode(map<T>)
• posexplode
将一行数据转为多行之后，还会输出数据的 ...
＋展开＋
• posexplode(array<T>)
• inline
将单列扩展成多行，
＋展开＋
• inline(array<struct<f1:v1,...,fn:vn>>)
• lateral view
将udtf函数应用到源表的每行数据，将 ...
• 表格生成函数
• 窗口函数 Window functions
为每行数据划分一个窗口，然后对窗口内的 ...
＋展开＋
• 语法
函数(...) over(窗口范围) ...
＋展开＋
• 函数
• 窗口
＋展开＋
• 基于行
order by [field] ro ...
• 基于值
order by [field] ra ...
• 分区
partition by [field ...
• 缺省
over() 中partition b ...
＋展开＋
• partition by 不写
• order by 不写
• rows|range between ... and ... 不写
＋展开＋
• over中有order by
默认值： range between ...
• over中没有order by
默认值：rows between un ...
• 分类
＋展开＋
• 聚合函数
＋展开＋
• max
• min
• sum
• avg
• count
• 跨行取值函数
lead/lag : 不支持自定义 ...
＋展开＋
• lead
lead(字段，偏移量，默认值)后一行 ...
• lag
lag(字段，偏移量，默认值) 前一行 ...
• first_value
first_value(字段，是否跳过 ...
• last_value
last_value(字段，是否跳过n ...
• 排名函数
rank/dense_rank/row ...
＋展开＋
• rank
rank() over(partiti ...
• dense_rank
dense_rank() over(p ...
• row_number
row_number() over(p ...
• 多维分析函数
• 自定义函数
＋展开＋
• 创建临时函数
create temporary fu ...
• 创建永久函数
create function my_ ...
• 自定义函数分类
＋展开＋
• 自定义函数 UDF
一进一出，实现类 GenericUDF ...
• 自定义聚合函数 UDAF
多进一出，user-defined a ...
• 自定义表函数 UDTF
一进多出，user-defined t ...

＋展开＋

• DEFLATE
算法：DEFLATE，扩展名：.def ...
• Gzip
算法：DEFLATE，扩展名：.gz， ...
• bzip2
算法：bzip2，扩展名：.bz2，是 ...
• LZO
算法：LZO，扩展名：.lzo，是否切 ...
• Snappy
算法：Snappy，扩展名：.snap ...

＋展开＋

• 行存储
一次需要读取一整行数据。
• 列存储
一次只需要读取一列或者几列数据。

＋展开＋

• Text file
行存储
• Orc
列存储，读取orc文件，需要从Post ...
＋展开＋
• 文件格式
＋展开＋
• Header:ORC
• Strip [num]
＋展开＋
• Index Data
各个field的最大值，最小值，行位置 ...
• column [field]
• Stripe Footer
各个column的编码等信息
• File Footer
Header长度；各个stripe信息 ...
• Postscript
file footer长度；文件压缩参 ...
• Postscript Length
• 建表语句
create table tabl_n ...
＋展开＋
• tblproperties参数
＋展开＋
• orc.compress
默认值：ZLIB，压缩格式：NONE, ...
• orc.compress.size
默认值：256kb，每个压缩块的大小 ...
• orc.stripe.size
默认值：64M，每个stripe的大小 ...
• orc.row.index.stride
默认值：10000，索引步长
• Parquet
列存储，读取parquet文件，需要从 ...
＋展开＋
• 文件格式
＋展开＋
• PAR1
• Row Group [num]
＋展开＋
• column chunk [field_name]
＋展开＋
• page [num]
• Footer (File Meta Data)
＋展开＋
• Row Group [num] Meta Data
＋展开＋
• column chunk [field_name] meta data
＋展开＋
• 数据类型
• 编码方式
• data page位置
• 统计信息 (最大值、最小值、null值个数)
• Footer Length
• PAR1
• 建表语句
create table tabl_n ...
＋展开＋
• tblproperties参数
＋展开＋
• parquet.compression
默认值：uncompressed，压缩 ...
• parquet.block.size
默认值：128m，行组大小，通常与hd ...
• parquet.page.size
默认值：1m，页大小
• Sequence file

＋展开＋

• 文件压缩
＋展开＋
• Textfile
压缩设置set hive.exec.c ...
• Orc
压缩设置create ... stor ...
• Parquet
压缩设置create ... stor ...
• 计算中压缩
＋展开＋
• 单个MR中间结果压缩
压缩设置set mapreduce.m ...
• 单条SQL中间结果压缩
压缩设置set hive.exec.c ...

＋展开＋

• Yarn资源配置
＋展开＋
• yarn.nodemanager.resource.memory-mb
单个nodemanager分配给con ...
• yarn.nodemanager.resource.cpu-vcores
单个nodemanager分配给con ...
• yarn.scheduler.maximum-allocation-mb
单个container能够使用的最大内 ...
• yarn.scheduler.minimum-allocation-mb
单个container能够使用的最小内 ...
• MapReduce资源配置
＋展开＋
• mapreduce.map.memory.mb
单个map task申请的contai ...
• mapreduce.map.cpu.vcores
单个map task申请的contai ...
• mapreduce.reduce.memory.mb
单个reduce task申请的con ...
• mapreduce.reduce.cpu.vcores
单个reduce task申请的con ...

＋展开＋

• 组成部分
＋展开＋
• Stage
Explain有一系列Stage组成， ...
• Operator Tree
一个Stage对应一个MapReduc ...
＋展开＋
• Map Operator Tree
• Reduce Operator Tree
• Operator
常见的Operator有以下几种。
＋展开＋
• TableScan
• Select Opterator
• Group by Operator
• Reduce Output Operator
• Join Operator
• File Output Operator
• Fetch Operator
• 内容结构
＋展开＋
• Stage Depenencies
＋展开＋
• Stage [num] ...
• Stage Plans
＋展开＋
• Stage [num]
＋展开＋
• Map Operator Tree
＋展开＋
• TableScan
• Select Opterator
• Group by Operator
• Reduce Output Operator
• Reduce Operator Tree
＋展开＋
• Group by Operator
• File Output Operator
• Stage [num...]
＋展开＋
• Fetch Operator
• 基本语法
＋展开＋
• Explain [Formatted | Exetended | Depenency] sql语句
＋展开＋
• Formatted
以json字符串输出执行计划。
• Exetended
输出执行计划中额外信息，比如读写的文件 ...
• Depenency
输出执行计划读取的表和分区。
• 如何用explain查看数据倾斜
＋展开＋
• 查看任务的执行时间
如果某个任务的执行时间比其他任务明显长 ...
• 查看任务的输入数据量
可以通过执行计划中的 Input(s) ...
• 查看任务的输出数据量
可以通过执行计划中的 Output(s ...
• 查看任务的 Shuffle 数据量
可以通过执行计划中的 Shuffle ...
• 查看任务的 Reduce 数量
如果某个任务的 Reduce 数量远大 ...

＋展开＋

• 分组聚合
主要是减少shuffle数据量，如ma ...
＋展开＋
• Map-Side聚合
在map端维护一个hash table ...
＋展开＋
• hive.map.aggr
开启map-side聚合，set hi ...
• hive.map.aggr.hash.min.reducion
检测源表是否适合map-side聚合。 ...
• hive.grouply.mapaggr.checkinterval
用于检测源表是否适合map-side聚 ...
• hive.map.aggr.hash.force.flush.memory.threshold
map-side聚合的hash表，占用 ...
• Join优化
＋展开＋
• Common Join
map端按照关联字段进行分区，然后sh ...
• Map Join
适用大表join小表。第一个job读取 ...
＋展开＋
• Hint 提示
select /*+ mapjoin( ...
• 自动触发
在物理优化阶段，判断common jo ...
＋展开＋
• 条件任务conditional task
如果是这样，编译阶段生成条件任务con ...
• 候选大表
＋展开＋
• innser join
每个表都可以作为候选大表
• left join
左表可以作为候选大表
• right join
右表可以作为候选大表
• full join
左右表不能很好的作为候选大表
• Map Join 自动转换判断逻辑1
逻辑判断过程第一部分：+hive.au ...
• Map Join 自动转换判断逻辑2
逻辑判断过程第二部分：+ 有候 ...
• Map Join 自动转换判断逻辑3
逻辑判断过程第三部分：+ ...
• Map Join自动转换配置参数
＋展开＋
• hive.auto.convert.join
开启map join自动转换，set ...
• hive.mapjoin.smalltable.filesize
common join转换map jo ...
• hive.auto.convert.join.noconditionaltask
无条件转换map join开启，hiv ...
• hive.auto.convert.join.noconditionaltask.size
无条件转换map join的小表总和阈 ...
• Bucket Map Join
适用大表join大表。必须都是分桶表， ...
＋展开＋
• Hint提示
select /*+ mapjoin( ...
• 相关参数
＋展开＋
• hive.cbo.enable
关闭cbo优化，cbo会让hint信息 ...
• hive.ignore.mapjoin.hint
map join hint默认被忽略（ ...
• hive.optimize.bucketmapjoin
启用bucket map join优化 ...
• Sort Merge Bucket Map Join
适用大表join大表。必须都是分桶表， ...
＋展开＋
• hive.optimize.bucketmapjoin.sortedmerge
开启 Sort Merge Bucke ...
• hive.auto.convert.sortmerge.join
使用自动转换 Sort Merge ...
• 数据倾斜
＋展开＋
• 分组聚合原因
＋展开＋
• Map Side聚合优化
参考 Map-Side聚合 相关参数 ...
• Skew GroupBy优化
＋展开＋
• hive.groupby.skewindata
开启分组聚合数据倾斜优化，set hi ...
• Join关联原因
＋展开＋
• Map Join方法
参看 map join 相关参数
• Skew Join方法
原理：为倾斜数据字段单独启动一个map ...
＋展开＋
• 相关参数
＋展开＋
• hive.optimieze.skewjoin
启动 skew join 优化，set ...
• hive.skewjoin.key
触发 skew join 优化的joi ...
• SQL语句优化
关键点：倾斜数据的key字段打散，非倾 ...
• 并行度优化
＋展开＋
• Map端并行度
＋展开＋
• 源表中存在大量小文件
＋展开＋
• hive.input.format=CombineHiveInputFormat;
开启map端小文件合并为一个切片（不是 ...
• Map端计算逻辑复杂
＋展开＋
• mapreduce.input.fileinputformat.split.maxsize
设置一个切片的最大值，set mapr ...
• Reduce端并行度
＋展开＋
• mapreduce.job.reduces
设置reduce端并行度，默认值-1， ...
• hive.exec.reducers.max
设置reduce端并行度的最大值，se ...
• hive.exec.reducers.bytes.per.reducer
设置单个reduce任务的输入数据量， ...
• MR引擎并行度估算公式
min(ceil(totalInput ...
＋展开＋
• min(ceil(totalInput/perReduceInput), maxReducers);
• 小文件合并优化
＋展开＋
• 小文件产生
mr引擎的聚合操作容易产生小文件输出 ...
• Map端输入小文件合并
＋展开＋
• hive.input.format=+CombineHiveInputFormat;
开启map端小文件合并为一个切片（不是 ...
• Reduce端输出小文件合并
＋展开＋
• hive.merge.mapfiles
开启map only任务输出小文件合并 ...
• hive.merge.mapredfiles
开启map reduce任务输出小文件 ...
• hive.merge.size.per.task
合并后的文件大小，set hive.m ...
• hive.merge.smallfiles.avgsize
触发小文件合并任务的阈值，如果文件平均 ...

＋展开＋

• CBO优化 (Cost Based Optimizer) 基于计算成本的优化
计算成本因素：数据行数，CPU，本地I ...
＋展开＋
• hive.cbo.enable
是否启用cbo优化。set hive. ...
• 谓词下推优化 Predicate Pushdown
指尽量将过滤操作前移，移动到数据源，减 ...
＋展开＋
• hive.optimize.ppd
是否开启谓词下推优化CBO优化也会完成 ...
• 矢量化优化
依赖于CPU的矢量化计算。矢量化查询典 ...
＋展开＋
• hive.vectorized.execution.enable
开启矢量化查询。如果执行计划中出现 E ...
• Fetch抓取
Fetch指hive在某种情况下查询不 ...
＋展开＋
• hive.fetch.task.conversion
设置是否在特定场景转换为fetch任务 ...
• 本地模式
＋展开＋
• hive.exec.mode.local.auto
开启自动转换为本地模式，set hiv ...
• hive.exec.mode.local.auto.inputbytes.max
本地模式的最大输入数据量，小于该值则转 ...
• hive.exec.mode.local.auto.input.files.max
本地模式的最大输入文件个数，小于该值则 ...
• 并行执行
hive将sql语句转换成一个/多个s ...
＋展开＋
• hive.exec.parallel
开启并行执行，set hive.exe ...
• hive.exec.parallel.thread.number
一个sql语句的最大并行度，默认8。s ...
• 严格模式
hive通过设置参数防止危险操作。
＋展开＋
• 分区表的分区过滤
＋展开＋
• hive.strict.checks.no.partition.filter
Where条件中没有分区字段过滤条件， ...
• 排序order by的limit过滤
＋展开＋
• hive.strict.checks.orderby.no.limit
使用order by排序但没有limi ...
• 笛卡尔积查询限制
＋展开＋
• hive.strict.checks.certesian.product
join操作没有on语句，就是笛卡尔积 ...

＋展开＋

• 用户会话切分问题
要求用户相邻两次访问时间间隔小于1分钟 ...
• 用户连续/间断登录问题
要求用户连续登录，间隔一天也算是连续登 ...
• 日期交叉问题
用户在不同的时间段内做不同的事情，如果 ...

＋展开＋

• group by
group by把相同key的数据聚集 ...
• partition by
按照字段进行分区partition b ...
• distribute by
distribute by是按照字段把 ...
• cluster by
cluster by 等价于 dist ...