Переместить данные из локального в красное смещение AWS - PullRequest
Новая
       24

Переместить данные из локального в красное смещение AWS

0 голосов
/ 17 января 2019

Мне нужно переместить данные из локального режима в красное смещение AWS (регион1). какой самый быстрый способ?

1) используйте снежный ком AWS, чтобы переместиться на место s3 (регион1), а затем используйте команду SQL COPY Redshift для копирования данных из s3 в красное смещение.

2) использовать AWS Datapipeline (заметьте, что еще нет AWS Datapipeline в region1. Поэтому я настрою Datapipeline в region2, который ближе всего к region1), чтобы переместить локальные данные в s3 (region1) и другую AWS DataPipeline (region2). ) скопировать данные из s3 (регион1) в красное смещение (регион1), используя предоставленный шаблон AWS (этот шаблон использует RedshiftCopyActivity для копирования данных из s3 в красное смещение)?

Какое из вышеуказанных решений быстрее? или есть другое решение? Кроме того, будет ли RedshiftCopyActivity быстрее, чем прямой запуск команды COPY в Redshift?

Обратите внимание, что это однократное движение, поэтому мне не нужна функция расписания AWS datapipeline.

Вот ссылка AWS Datapipeline: Канал данных AWS . В нем говорится: AWS Data Pipeline - это веб-сервис, который помогает вам надежно обрабатывать и перемещать данные между различными сервисами вычислений и хранения данных AWS, а также локальными источниками данных ...

1 Ответ

0 голосов
/ 18 января 2019

Все зависит от пропускной способности сети от количества данных.

Данные должны быть перемещены из текущего локального местоположения в Amazon S3.

Это можно сделать через:

  • Сетевая копия
  • Снежок AWS

Вы можете использовать сетевой калькулятор , чтобы рассчитать, сколько времени потребуется для копирования через сетевое соединение.

Затем сравните это с использованием AWS Snowball для копирования данных.

Выберите тот, который дешевле / проще / быстрее.

Когда данные находятся в Amazon S3, используйте команду Amazon Redshift COPY для их загрузки.

Если данные постоянно добавляются, вам нужно найти способ отправлять непрерывные обновления в Redshift. Это может быть проще с помощью сетевого копирования.

Использование конвейера данных не дает никаких преимуществ.

...