Команде Redshift COPY не удалось загрузить данные из S3

Question

Мы сталкиваемся с ошибкой, когда пытаемся загрузить огромный zip-файл из корзины S3 для красного смещения с экземпляра EC2 и даже с точки зрения aginity. В чем здесь проблема?

Насколько мы проверили, это может быть из-за правил VPC NACL, но не уверен.

Ошибка: ОШИБКА: Тайм-аут соединения через 50000 миллисекунд

Answer 1

Вам следует создать роль IAM, которая разрешает Amazon Redshift получать доступ к другим сервисам AWS, таким как S3, от вашего имени. Вы должны связать эту роль с кластером Amazon Redshift, прежде чем использовать роль для загрузки или выгрузки данных.

Проверьте ниже ссылку для настройки роли IAM:

https://docs.aws.amazon.com/redshift/latest/mgmt/copy-unload-iam-role.html

Answer 2

Я думаю, что вы правы, это может быть из-за правил доступа к корзине или секретных ключей / ключей доступа.

Вот несколько указателей для дальнейшей отладки, если выше не работает.

1. Создайте небольшой zip-файл, затем попробуйте еще раз, если это что-то из-за размера (но я не думаю, что это возможно.)

2. Разделите ваш zip-файл на несколько zip-файлов и создайте Manifest файл для загрузки, а не один файл.

Надеюсь, вы найдете это полезным.