У меня есть стол улья
create table json_tab (
c1 string,
c2 int,
c3 array<struct<c4:string, c5:int>>
)
partitioned by (c6 bigint)
row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
stored as textfile
Когда я добавляю файл JSON, я вижу все как и ожидалось на select * from json_tab в улье.
Теперь я хочу запросить эту таблицу из Spark 2.3.0. По этой причине я добавил hive-hcatalog-core.jar в путь к классам.
Проблема в Spark, я вижу только столбец раздела c6.
Подсчет на столе дает мне правильный результат.
Что я делаю не так?