Как напрямую скопировать таблицы Amazon Athena в Amazon Redshift?

Question

У меня есть несколько JSON файлов в S3, и я смог создать базы данных и таблицы в Amazon Athena из этих файлов данных. Это сделано, моя следующая цель - скопировать эти созданные таблицы в Amazon Redshift. В Amazon Athena есть другие таблицы, которые я создал на основе этих файлов данных. Я имею в виду, что я создал три таблицы, используя те файлы данных, которые есть в S3, а затем я создал новые таблицы, используя эти три таблицы. Поэтому на данный момент у меня есть 5 разных таблиц, которые нужно создать в Amazon Redshift с данными или без данных.

Я проверил команду COPY в Amazon Redshift , но нет команды COPY для Amazon Athena . Вот доступный список.

• КОПИЯ с Amazon S3
• КОПИЯ с Amazon EMR
• КОПИЯ с удаленного хоста (S SH)
• КОПИЯ из Amazon DynamoDB

Если других решений нет, я планировал создать новые файлы JSON на основе вновь созданных таблиц в Amazon Athena в корзины S3. Тогда мы можем легко скопировать их из S3 в Redshift, не так ли? Есть ли другие хорошие решения для этого?

Answer 1

Если ваши файлы s3 имеют формат OK, вы можете использовать Redshift Spectrum.

1) Настройте каталог метаданных куста ваших файлов s3, используя клей aws, если вы sh.

2) Настройте Redshift Spectrum, чтобы увидеть, что данные внутри красного смещения (https://docs.aws.amazon.com/redshift/latest/dg/c-getting-started-using-spectrum.html)

3) Используйте CTAS для создания копии внутри красного смещения

create table redshift_table as select * from redshift_spectrum_schema.redshift_spectrum_table;