Получение «Внутреннего исключения службы» при попытке запустить чрезвычайно простой сканер AWS-glue с большим количеством столбцов

Question

Я пытаюсь провести некоторое POC-тестирование, чтобы файлы S3 parquet можно было запрашивать через Афину.

Я начинаю с чего-то довольно простого: одного файла с паркетом, содержащего около 400 строк и около 800 столбцов (я знаю, что это необычная система хранения; но по соображениям бизнес-логики других вариантов не существует)

Это похоже на ошибку, когда я пытаюсь запустить сканер клея, с общей ошибкой Internal Service Exception.

Я попробовал то же самое с меньшим количеством столбцов (все остальное тоже самое) и с низким, и вот, это сработало. Это какое-то ограничение, о котором я не знаю?

Любая помощь будет оценена.

Answer 1

Это не ограничение клея, а ограничение Афины.Поскольку каталог данных внутренне использует Athena для запросов, он должен соответствовать стандартам Athena.

В именах таблиц, представлений, баз данных и столбцов Athena допускаются только специальные символы подчеркивания

Имена таблиц, представлений, баз данных и столбцов Athena не могут содержать специальных символов, кроме подчеркивания (_).

Подробнее: https://docs.aws.amazon.com/athena/latest/ug/tables-databases-columns-names.html

Answer 2

Хорошо, это было в конечном итоге решено. Оказывается, клею не нравились некоторые прикольные символы в именах моих столбцов (некоторые содержали \ r). Хотелось бы, чтобы эта ошибка была более очевидной, но для будущих людей может быть полезно упростить имена столбцов и повторить попытку