Склеивание не удается из-за ошибки времени ожидания подключения - PullRequest
Новая
       85

Склеивание не удается из-за ошибки времени ожидания подключения

0 голосов
/ 03 августа 2020

У меня есть задание Glue ETL, которое считывает данные из каталога и записывает их в s3. Как только это будет сделано, необходимо запустить краулер для обновления данных в Athena.

Итак, я использую метод glue_client.start_crawler (Name = 'crawler_name') для запуска краулера. Но всякий раз, когда я пытался запустить краулер из задания ETL Glue, он терпел неудачу со следующей ошибкой 

ConnectTimeoutError: Connect timeout on endpoint URL: "https://glue.eu-central-1.amazonaws.com/"

1 Ответ

1 голос
/ 04 августа 2020

Когда вы запускаете задание Glue внутри VP C, подключив соединение, трафик c будет находиться только в AWS сети и не будет проходить через publi c inte rnet.

Это причина, по которой вы не можете подключиться к вызову API поискового робота Glue boto3. Для этого вам необходимо создать / добавить конечную точку Glue VP C к VP C, а запрос на запуск поискового робота должен быть таким, как показано ниже, включая endpoint_url. 

import boto3
glue = boto3.client(service_name='glue', region_name='eu-central-1',
              endpoint_url='https://glue.eu-central-1.amazonaws.com')
glue.start_crawler(Name='crawler_name')
...