Многоразовые AWS клеевые работы

Question

У меня более 200 таблиц, которые необходимо перенести на S3 из СУБД без преобразований. Поэтому мы планируем выполнить миграцию с помощью Glue Job. Поэтому я хочу создать задание AWS Glue, которое можно повторно использовать и выполнять с использованием значений параметров, чтобы я мог запускать несколько таблиц одновременно (многопоточность). Возможно ли это вообще в AWS Клее.

Answer 1

Быстрый ответ - да

1. Вы можете повторно использовать отдельное задание склеивания, которое может быть возобновлено, где вы можете передать свое исходное местоположение и имя целевой таблицы базы данных в качестве аргументов задания для задания склеивания
2. Ваши задания по склеиванию поддерживают параллелизм, который может быть установлен в задании по склеиванию (что означает, что у вас может быть несколько вызовов одного и того же задания). Это будет более простой вариант, чем реализация многопоточности в вашей работе. Но многопоточность, безусловно, возможна, если мы будем использовать только модули по умолчанию или чистые модули python. Существуют определенные ограничения уровня учетной записи (которые могут быть увеличены), о которых вам необходимо помнить. например: пошаговые функции / лямбды ...)