Сбой задания AWS GLUE при работе с разделенными файлами Parquet во вложенных папках s3

Question

Я получаю следующую ошибку при запуске задания GLUE над партиционированными файлами Невозможно определить схему для паркета. Должно быть указано вручную

Я настроил свой сканер и успешно получил схему для моих файлов паркета. Я могу просмотреть данные в Афине. Я создал схему вручную на моем целевом Redshift.

Я могу загрузить файлы через КЛЕЙ в Redshift, если все мои данные находятся только в одной папке. НО, когда я указываю на папку, в которой есть вложенные папки, например, папка X - имеет 04 и 05 - работа с КЛЕЕМ сбой с сообщением Невозможно определить схему для паркета. Необходимо указать вручную

Что странно, если все эти файлы помещаются в одну папку?

Answer 1

Если вы укажете прямо на папку раздела, то папка раздела больше не будет столбцом в схеме таблицы. Лучше использовать предикат pushdown - https://aws.amazon.com/blogs/big-data/work-with-partitioned-data-in-aws-glue/ указывая на верхнюю папку.

Answer 2

Я нашел решение здесь - это работает для меня Firehose JSON -> S3 Parquet -> ETL Spark, ошибка: невозможно определить схему для паркета

Это scala-версия работы с клеем ETL