[ 笔记列表 ]
所属分类:Flink
浏览:87
内容:
异常信息: Caused by: java.lang.RuntimeException: ORC split generation failed with exception: 70410 Caused by: java.lang.IndexOutOfBoundsException: 70410 解决方法:修改ORC的分割策略为hive.exec.orc.split.strategy=BI。 hive.getHiveConf().set("hive.exec.orc.split.strategy", "BI"); hive.exec.orc.split.strategy参数用来控制读取ORC表时生成split的策略。 BI策略:以文件为粒度进行split划分; ETL策略:将文件进行切分,多个stripe组成一个split; HYBRID(默认)策略:当文件的平均大小大于hadoop最大split值(默认256 * 1024 * 1024)时使用ETL策略,否则使用BI策略。
链接:
|