как создать несколько таблиц из нескольких папок с одним путем и Athena также должна работать с ним с помощью программы для склеивания клеев

Question

Я пробовал это, не достигнув требуемых результатов - у меня есть несколько CSV-файлов в папке корзины s3, но когда он создает несколько таблиц для нее, то Athena возвращает нулевые результаты, поэтому я создал отдельную папку для каждого файла, тогда он работает нормально. проблема - но если в будущем будет добавлено больше папок, то я должен go сканировать и добавить новый путь к местоположению для каждой новой добавленной папки, так что есть ли способ сделать это автоматически или какой-то другой способ сделать это. Я использую glue crawler и s3 bucket athena для выполнения запросов к нескольким файлам CSV.

Answer 1

Как правило, таблице необходимо, чтобы все ее файлы находились в каталоге, а другие файлы не должны находиться в этом каталоге.

Однако существует механизм, позволяющий создавать таблицы, содержащие только Speci c файлы. Подробнее об этом можно прочитать во второй части этого ответа: Запрос Athena для раздела по дате создания S3 (прокрутите вниз немного после горизонтального правила). Вы также можете найти пример в документации инвентаризации S3: https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html