Как снежный ком делает миграцию дельта-данных - PullRequest
0 голосов
/ 26 апреля 2019

Когда мы переносим огромное количество данных из локального центра обработки данных в снежный ком и отправляем устройство снежного кома в центры обработки данных AWS, в течение периода передачи данных будет существовать большой объем данных в реальном времени, который будет продолжатьполучить запись в центре обработки данных клиентов.Скажем, снежному кому понадобится 2 дня, чтобы отправить данные в назначенный региональный дата-центр AWS.Как AWS гарантирует, что эти 2-дневные данные, записанные в локальном дата-центре, также будут перенесены в облако, поэтому в центре обработки данных клиентов не останется никаких дополнительных данных и будет перенесено 100% данных?Какие варианты есть в AWS для решения этой проблемы?

1 Ответ

0 голосов
/ 26 апреля 2019

Это действительно зависит от типа данных, о которых вы говорите, но общей стратегией было бы использование Snowball для передачи всех массовых данных до определенного момента времени, и с этого момента начала отправлять данные, которые попадают в ваш дата-центр в AWS напрямую по сети.

Проблема, которую Snowball решает, - это передача больших объемов данных, которые не будут эффективными по сети, но для всех новых данных вы можете отправить копию в AWS в режиме реального времени или через регулярные промежутки времени. Размер этих данных должен быть достаточно мал, чтобы передача по сети работала нормально.

Относительно миграции данных AWS имеет много разных сервисов , и это действительно зависит от ваших конкретных требований.

Очень распространенная настройка - использовать как минимум прямое соединение, чтобы вы могли иметь выделенное соединение с центрами обработки данных Amazon. Если ваши данные достаточно малы, вы можете просто использовать простые инструменты для отправки данных на S3 или в пожарный шланг кинезиса.

В более сложных сценариях может потребоваться шлюз хранилища, который находится в вашем центре обработки данных и обеспечивает бесшовную интеграцию со многими хранилищами данных и файлов в AWS.

Таким образом, детали будут зависеть от каждого варианта использования, но ответом будет сочетание технологий, упомянутых на странице Cloud Data Migration

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...