Есть ли простой способ клонировать склеенную работу, но изменить соединения с базой данных?

Question

У меня есть большое количество клиентов, которые предоставляют данные в одном и том же формате и нуждаются в их загрузке в идентичные таблицы в разных базах данных.Я настроил для них задание в Glue, но теперь я должен сделать то же самое еще 20 раз

Можно ли как-нибудь взять существующее задание и скопировать его, но с изменениями в пути к файлу S3и соединение JDBC?

Мне не удалось найти много онлайн о сценариях в AWS Glue.Будет ли это достигнуто через интерфейс командной строки AWS?

Answer 1

Самый быстрый способ - использовать aws cli.

aws glue get-job --job-name <value>

где значение - это конкретное задание, которое вы пытаетесь воспроизвести. Затем вы можете изменить путь s3 и информацию о соединении JDBC в JSON, который возвращает вышеуказанная команда. Также вам нужно дать ему новое уникальное имя. Сделав это, вы можете передать это:

aws glue create-job --cli-input-json <value>

где значение - это обновленный JSON, из которого вы пытаетесь создать новую работу.

См. Справочник по командной строке AWS для получения дополнительной информации о командной строке клея