Доступ в Интернет в рамках работы AWS Glue - PullRequest
Новая
       7

Доступ в Интернет в рамках работы AWS Glue

0 голосов
/ 29 июня 2018

Есть ли в Glue рабочие места доступа в интернет?

Используя это тестовое задание: 

def have_internet():
    conn = httplib.HTTPConnection("www.google.com", timeout=5)
    try:
        conn.request("HEAD", "/")
        conn.close()
        logger.warn('ok')
    except:
        conn.close()
        logger.warn('no ok')

have_internet()

Кажется, они не ...

Кроме того, в правильно настроенной конечной точке Glue Dev нет доступа в Интернет.

Под правильной настройкой я имею в виду общедоступную подсеть (интернет-шлюз), с конечной точкой S3 и интернет-шлюзом, рабочим «соединением» и группами безопасности.

Но по-прежнему нет доступа в интернет ...

Я хочу, чтобы доступ в Интернет мог опрашивать базу данных on prem, сохранять на S3 и запускать другое задание для преобразования и загрузки в rds ...

Можно ли использовать клей для экстракта?

1 Ответ

0 голосов
/ 13 июля 2018

Эта проблема теперь решена сама собой, я подозреваю, из-за обновления в Glue или связанной инфраструктуры.

Проблема с подключением возникла из-за RepL-кода PySpark, а не из самого экземпляра Dev Endpoint ...

В любом случае, для всех, кто устраняет подобные проблемы с сетевым подключением с помощью Glue, приведен список возможных причин:

Конечная точка разработки должна находиться в «общедоступной» подсети * Параметры DHCP должны иметь настройку по умолчанию Группы безопасности, группы безопасности, группы безопасности Подсеть должна быть связана с конечной точкой S3 ...

...