У меня есть сценарий использования спектра, использующий файлы большого количества json-файлов из s3.Я начал с сканирования данных с помощью сканера Glue для создания каталога данных.Затем с этим каталогом я создал внешнюю схему для ссылки на базу данных Glue, чтобы получить доступ к каталогу.Теперь я могу делать операторы select в строках корневого уровня, и это работает Пример:
select t.id from glue_db.test t
Проблема в том, что когда я делаю оператор select для объектов struct, я получаю эту ошибку "Ошибка синтаксического анализа типастолбца "t.actor.name" ".Вот пример выбора (id - это строка в структуре актера):
select t.actor.name from glue_db.test t
Что мне не хватает?Я также пытался преобразовать JSON в паркет, и сталкиваюсь с теми же проблемами, пытаясь запросить вложенные данные.
Вот таблица склеивания def:
Вот структура актера: