AWS S3 - Вставка в таблицу с ИЛИ C

Question

Я смотрю на хранение данных в S3 в ORC format для запросов с Athena.

Я хочу разделить данные следующим образом ...

.../year=2019/month=7/

... и дальнейшее хранение данных по идентификатору (каждый id будет иметь несколько записей для каждого месяца, существует множество идентификаторов)

Я хочу иметь возможность ежедневно вставлять новые данные в эту структуру. .. Я понимаю, что не могу использовать оператор INSERT INTO из Афины, поскольку таблицы с таблицами не поддерживаются.

Как лучше всего ежедневно вводить данные в таблицу этой структуры? Можно ли вообще обойтись данными с интервалами?

Cheers

Answer 1

Presto позволяет вставлять в существующие разделы секционированных таблиц с интервалами начиная с Presto 312 . Если Athena не поддерживает это, вы можете очень легко запустить кластер Presto самостоятельно, например, используя Starburst Presto AWS интеграция (я могу рекомендовать это и по другим причинам, поскольку это может быть намного дешевле, чем использование Athena если вы выполняете больше, чем несколько запросов. Отказ от ответственности: я из Starburst)