首页 笔记 图片 查字 
所属分类:Flink
浏览:87
内容:

异常信息:

Caused by: java.lang.RuntimeException: ORC split generation failed with exception: 70410

Caused by: java.lang.IndexOutOfBoundsException: 70410


解决方法:修改ORC的分割策略为hive.exec.orc.split.strategy=BI。

hive.getHiveConf().set("hive.exec.orc.split.strategy", "BI");


hive.exec.orc.split.strategy参数用来控制读取ORC表时生成split的策略。

BI策略:以文件为粒度进行split划分;

ETL策略:将文件进行切分,多个stripe组成一个split;

HYBRID(默认)策略:当文件的平均大小大于hadoop最大split值(默认256 * 1024 * 1024)时使用ETL策略,否则使用BI策略。