Как исправить ошибку «Ошибка (403) при вызове операции HeadObject: запрещено» в AWS Glue ETL Job - PullRequest
0 голосов
/ 24 декабря 2018

Я настраиваю простую работу AWS Glue ETL на своей панели инструментов AWS, которая отображает данные из файлов паркета, которые находятся в корзине AWS S3, в базу данных Redshift.Если я установлю свое соединение JDBC Redshift в качестве требования к моей работе ETL, оно сразу же потерпит неудачу с этим сообщением: «Произошла ошибка (403) при вызове операции HeadObject: Forbidden», и если я удалю ее из требований задания, оначерез некоторое время будет время ожидания подключения.Когда я проверяю соединение, используя ту же роль IAM, оно подключается без проблем.Есть ли что-то, чего мне здесь не хватает?

Я уже пытался даже добавить правило входящих сообщений ALL Ports в соответствующие группы безопасности VPC.Я уже пытался проверить S3 регион с Redshift регион, чтобы быть таким же.(Хотя сегменты S3 принадлежат глобальным), у меня даже есть другие задания ETL, которые преобразуют данные из CSV в паркет в том же регионе с той же ролью IAM, но они работают отлично.

Я бы просто ожидалзадание по переносу моих файлов паркетных файлов в новую таблицу Redshift.

Ответы [ 2 ]

0 голосов
/ 22 января 2019

После обращения в службу поддержки AWS выяснилось, что с моей политикой конечных точек VPC возникла проблема.Итак, я отвечаю на свой вопрос на тот случай, если кто-нибудь еще забудет убедиться, что у конечной точки VPC достаточно прав для доступа к корзинам заданий S3, включая корзину сценариев и временную.

0 голосов
/ 26 декабря 2018

Похоже, что ведро S3 находится в другом регионе, чем где развернуто задание по склеиванию

...