Я использую Spark для записи файлов на S3 в формате ORC.Также использую Athena для запроса этих данных.
Я использую следующие ключи раздела:
s3://bucket/company=1123/date=20190207
Как только я запускаю сканер Glue для запуска в корзине, все работает как положено, кроме типовключи разделов.
Программа-обходчик настраивает их в каталоге как тип String вместо int
Существует ли конфигурация для определения типа ключей разделения по умолчанию?
Я знаю, что это можно изменить позже вручную и установить конфигурацию Crawler на Add new columns only.