Использование Terraform, создание задания Glue с источником данных и целевым объектом данных как Amazon S3 - PullRequest
0 голосов
/ 08 мая 2020

Я новичок в AWS и Terraform. Мне нужно создать задание Glue, используя Terraform (HCL). Когда я вижу документы Terraform, у него есть этот сценарий, который запускает задание Glue с использованием ресурса aws_glue_job , но нет возможности указать это мой источник данных, и именно здесь он должен go (цель) после преобразования данных. В моем сценарии у меня есть таблица Glue, которая создается с использованием файлов Amazon S3 JSON, которые должны быть источником данных, а целью также должна быть корзина S3, но теперь файлы данных будут преобразованы из JSON в Parquet. Я не нахожу способ указать этот источник и цель при создании задания Glue с помощью Terraform. Помощь очень ценится. Заранее спасибо.

1 Ответ

0 голосов
/ 17 мая 2020

ОБНОВЛЕНИЕ: я сгенерировал скрипт, создав задание через консоль и использовал его при создании ресурсов через Terraform, скрипт сам по себе помог создать источник и цель сейчас.

...