Ошибка Glue Job из-за невозможности загрузить скрипт из S3

Question

Я работаю над созданием AWS Glue ETL-процесса для извлечения данных CSV из S3 в AWS Aurora DB.

Я успешно создал и запустил поисковые роботы как для исходного файла, так и для таблица БД назначения. Я также создал задание ETL, выполнил сопоставления и сохранил автоматически сгенерированный сценарий. Все (S3, DB, Glue) находятся в одном регионе.

При запуске задания ETL выдает следующие сообщения:

fatal error: Connect timeout on endpoint URL: <REDACTED>
Error downloading script: fatal error: Connect timeout on endpoint URL: <REDACTED>

В журнале Cloudwatch у меня есть 2 соответствующих сообщения:

Specifying us-west-2 while copying script. 
S3 copy with region specified failed. Falling back to not specifying region. 

Я пробовал следующее:

• Проверенная роль IAM имеет доступ к S3
• Разрешен полный доступ (publi c, чтение и запись) в файл сценария, а также в файл .temp; Я не думаю, что это необходимо, но в духе исключения вещей ...
• Подтвержденный SSL (порт 443) на EC2 как для входящего, так и для исходящего.

Любое другое мысли или решения приветствуются!

Answer 1

Я думаю, что в VP C, который вы использовали для запуска задания Glue, отсутствует конечная точка S3. Поскольку трафик c не будет покидать AWS сеть , не будет доступа inte rnet внутри VP C вашего задания Glue. Поэтому, если вы хотите подключиться к S3, вам необходимо добавить его в свой VP C.

Обратитесь к this , чтобы узнать больше, и this , чтобы убедиться что вы правильно настроили группы безопасности