Искра org.apache.spark.sql.catalyst.analysis.UnresolvedException ошибка загрузки таблицы Hive

Question

При попытке загрузить данные из набора данных в таблицу Hive выдается ошибка:

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid вызов dataType для неразрешенного объекта, дерева: 'ipl_appl_signed_date

Мой набор данных содержит те же столбцы, что и таблица Hive, а столбец, для которого получена ошибка, имеет тип данных Date в моем коде (Java), а также в Hive.

Java-код:

Date IPL_APPL_SIGNED_DATE   =rs.getDate("DTL.IPL_APPL_SIGNED_DATE"); //using jdbc to get record.

Encoder<DimPolicy> encoder = Encoders.bean(Foo.class);

Dataset<DimPolicy> test=spark.createDataset(allRows,encoder); //spark is the spark session

test.write().mode("append").insertInto("someSchema.someTable"); //

Answer 1

Я думаю, что проблема связана с ошибкой в ​​Spark, т.е. [SPARK-26379] Используйте фиктивный TimeZoneId для CurrentTimestamp, чтобы избежать UnresolvedException в CurrentBatchTimestamp , который был исправлен в 2.3.3, 2.4.1, 3.0 +0,0.

Решение состоит в том, чтобы перейти на версию Spark, на которую ошибка не влияет (или дождаться новой версии).