Будет ли Spark SQL всегда проверять информацию всех разделов, даже назначать разделы?

Question

Я выполняю SQL-запрос с определенным разделом:

spark-sql --conf spark.sql.hive.convertMetastoreOrc=true \
 -e "select * from default.s_shouq_user where dt='2018-10-17' limit 10"

и получаю следующее исключение (dt=2015-12-22 is первый раздел таблицы):

Java.io.IOException: Malformed ORC file hdfs://jilian/hai/bo/dw/default.db/s_shouq_user/dt=2015-12-22/000005_0. Invalid postscript.
at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.ensureOrcFooter(ReaderImpl.java:250)
at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.extractMetaInfoFromFooter(ReaderImpl.java:

Answer 1

Эта проблема исправлена ​​в v2.3.1