Snowpipe Infastructure & s3 подпапки

Question

Я пытаюсь настроить масштабируемую инфраструктуру снежных трасс. У меня есть одна AWS лямбда-функция, которая извлекает данные и помещает необработанные json файлы в соответствующие им папки ниже.

В идеале я бы хотел настроить snowpipe для чтения данных из каждой папки в свою собственную. Таблица снежинок.

Пример)

• Файл json отведений, находящийся в папке отведений, теперь передается в таблицу отведений * json внутри снежинки.
• Файл json возможностей, находящийся в папке возможностей, теперь передается в таблицу Properitie_ json внутри снежинки.

Как мне go настроить конвейеры и этапы для уменьшения числа необходимых конвейеров и этапов?

Понадобится ли мне один конвейер и этап для каждой подпапки в корзине?

Я собираюсь использовать функцию AUTO_INGEST = true, используя уведомления SQS.

Answer 1

Вам понадобится 1 ТРУБА для каждой ТАБЛИЦЫ, которую вы загружаете через Snowpipe. У вас может быть один STAGE, указывающий на верхнюю папку вашего сегмента S3, если вы используете sh, или вы можете создать по 1 на таблицу в папке более низкого уровня. Я надеюсь, что это отвечает на ваш вопрос.