Как скопировать таблицу с миллионами строк из PostgreSQL в Amazon Redshift, используя pandas или python

Question

Каков наилучший способ скопировать таблицу (с миллионами строк) из одного типа базы данных в другой тип, используя панды или python?

У меня есть таблица в базе данных PostreSQL, состоящая из миллионов строкЯ хочу переместить его в Amazon Redshift. Каков наилучший способ добиться этого с помощью панд или питона?

Answer 1

Служба миграции базы данных Amazon (DMS) может обрабатывать:

• Использование базы данных PostgreSQL в качестве источника для AWS DMS - Служба миграции базы данных AWS
• Использование базы данных Amazon Redshift в качестве цели для службы миграции базы данных AWS - Служба миграции базы данных AWS

В качестве альтернативы, если вы хотите сделать это самостоятельно:

• Экспорт данных из PostgreSQL в файлы CSV (они могут быть сжаты gzip)
• Загрузка файлов в Amazon S3
• Создание таблиц назначения в Amazon Redshift
• Используйте команду COPY в Amazon Redshift для загрузки файлов CSV в Redshift

Answer 2

• Если вы пользуетесь услугами Aws , возможно, было бы неплохо использовать AWS Glue, он использует скрипты python для своего ETLоперации, очень оптимальные для Динамо -> Redshift, например.

• Если вы не используете только сервисы Aws , попробуйте экспортировать данные Redshift как csv? (я сделал это для миллионов строк) и создал инструмент миграции с использованием c # или чего-либо другого для чтения файла csv и вставил ваши строки после их преобразования или чего-либо еще [ Проверьте, может ли используемая вами технология баз данных принятьCSV напрямую, чтобы вы могли избежать миграции самостоятельно ].