[Amazon] (500150) Ошибка установки / закрытия соединения: соединение отклонено - PullRequest
0 голосов
/ 18 июня 2019

У меня есть скрипт Glue, который должен записать свой результат в таблицу Redshift в цикле for.

После многих часов обработки возникает это исключение:

Py4JJavaError: An error occurred while calling o11362.pyWriteDynamicFrame.
: java.sql.SQLException: [Amazon](500150) Error setting/closing connection: Connection refused.

Почему я получаю это исключение?

Ответы [ 2 ]

0 голосов
/ 18 июня 2019

Эта ошибка может возникать по многим причинам. Я уверен, что после нескольких поисков в Google вы обнаружили, что наиболее распространенной причиной этого являются неправильные настройки группы безопасности для вашего кластера (убедитесь, что ваши входящие настройки верны).

Я бы посоветовал вам убедиться, что вы можете создать соединение даже на короткий промежуток времени, прежде чем попробовать этот более длительный процесс. Если вы можете сделать это, то я уверен, что проблема в том, что ваше соединение закрывается после истечения времени ожидания (поскольку ваш процесс очень длинный). Чтобы решить эту проблему, вы должны изучить пул соединений , который включает в себя создание экземпляра соединения и постоянную проверку на предмет его работоспособности, что позволяет процессу постоянно использовать кластерное соединение.

0 голосов
/ 18 июня 2019

Оказывается, что кластеры Redshift имеют окно обслуживания , в которое они перезагружаются.Конечно, это событие приводит к сбою задания склеивания при попытке записи в таблицу этого кластера.

Может быть полезно перенести окно обслуживания https://docs.aws.amazon.com/redshift/latest/mgmt/managing-clusters-console.html

...