Запрос таблицы CSV хранятся S3 через Афины - PullRequest
0 голосов
/ 27 августа 2018

Недавно мы начали хранить наши резервные копии в aws s3. Это все CSV-файлы, которые нам нужно запросить через AWS Athena. Мы пытались вставить таблицы одну за другой, но это занимает слишком много времени, это довольно много данных. Есть ли какой-нибудь API, который мы можем использовать или что-то уже установлено? мы собирались сделать что-то со свечой, но, может быть, есть более простой способ, или что-то, что уже было сделано. спасибо

1 Ответ

0 голосов
/ 28 августа 2018

Вы можете просто создать внешнюю таблицу поверх файлов CSV с необходимыми свойствами.

Ссылка: Создание внешней таблицы в AWS Athena

Вы также можете использовать Glue Crawler и настроить его для автоматического заполнения таблиц.

Ссылка: Каталогизация таблиц с гусеничным механизмом

Существуют различные AWS SDK ( здесь ) для автоматизации ваших задач, таких как загрузка файлов в S3, создание таблиц athena или каталогизирование таблиц с помощью клеевой накладки.

...