AWS Glue Error: у указанного su bnet недостаточно свободных адресов для удовлетворения запроса

Question

У меня есть задание AWS Glue, которое получает данные из S3, преобразует их и загружает в несколько таблиц Redshift.

Подробности задания склеивания: Тип: Искра Это задание выполняется: новый скрипт, созданный вами Тип рабочего: Стандартный Максимальная емкость: 5

Сведения о подключении: В задании Glue для подключения к Redshift используется «Каталог данных> соединение» . Тип подключения: JDB C

Иногда задание склеивания завершается с ошибкой: У указанного su bnet недостаточно свободных адресов для удовлетворения запроса (Сервис: AmazonEc2, Код состояния: 400, Код ошибки: НедостаточноFreeAdressesInSu bnet)

Есть ли способ вычислить количество IP-адресов, требуемых для задания Glue, на основе вышеуказанных критериев или любым другим способом сделать это, чтобы я мог планировать задания в последовательности

Answer 1

Блоки обработки данных (DPU) в Glue или работники решают, какое количество IP-адресов вам нужно. Если вы используете su bnet с недостаточным количеством IP-адресов, выберите небольшое количество DPU. Su bnet, который вы добавили в свое соединение, будет использоваться. Если у вас есть другой su bnet в том же VP C, вы можете использовать его, если вы можете достичь кластера красного смещения от этого su bnet.