Можно ли использовать одно задание AWS Glue для записи данных в разные базы данных? - PullRequest
0 голосов
/ 03 марта 2020

Я планирую использовать AWS Glue для простой работы по извлечению данных из корзины AWS s3 и загрузке их в базу данных RDS. Планируется использовать мастер AWS для создания скрипта python с минимальными изменениями.

Проблема в том, что мне нужно загрузить практически одинаковые данные во многие отдельные БД, которые имеют одинаковую схему, те же таблицы и т. Д. c.

Вопрос в том, возможно ли это сделать с помощью одного сценария склеивания (например, с использованием нескольких соединений в «Требуемые соединения» в мастере), или мне нужно иметь отдельное задание склеивания для каждой БД?

1 Ответ

0 голосов
/ 17 марта 2020

Похоже, что это возможно только при определенных условиях (я нашел это здесь https://forums.aws.amazon.com/thread.jspa?threadID=287775): «Когда вы используете соединение JDB C в качестве источника данных, ENI запускается в su bnet, который определен в Соединении. Клеевые ресурсы используют этот ENI для всех траффиков c к вашим источникам данных. Когда вы добавляете несколько подключений к заданию, он всегда будет запускать ENI в указанном su bnet с первым соединением, которое добавлено к заданию. " Когда я пытаюсь сделать это только с двумя разными подключениями в разных подсетях, работает только одна, а другая завершается неудачно с ошибкой «Время попытки подключения истекло» - как описано в приведенной ссылке.

...