У меня так много данных в моей локальной базе данных Postgres на моей машине. Мне нужно денормализовать данные, присутствующие в этой локальной базе данных, и получить набор запросов в определенном формате, который можно загрузить непосредственно в таблицы Redshift, используя Python .
У меня есть запросы, которые я могузапустите локальную базу данных и получите набор запросов в определенном формате, который необходимо загрузить в Redshift напрямую.
Но данных так много, что мне нужно перейти с локального на Redshift . На данный момент единственный лучший способ, о котором я мог подумать, - это экспорт набора запросов, который я получил, в файл .csv , который будет загружен в S3 корзину , которая будет непосредственно скопирована вRedshift таблицы с использованием Python.
Мне просто интересно, есть ли альтернативный способ сделать это. что-то вроде потоковой передачи непосредственно из базы данных Postgres в AWS Redshift
Пожалуйста, дайте мне знать, если выгрузка и выгрузка .csv - лучший способили есть ли другой эффективный способ добиться этого.