Передача данных между S3 и Blob Storage

Question

У нас есть большой (1PB) объем данных (в реальном времени), которые мы должны периодически передавать между S3 и хранилищем BLOB-объектов Azure. Какие инструменты вы используете для этого? И какую стратегию вы используете для минимизации затрат на передачу и простоев?

Мы оценили ряд решений, в том числе AzCopy, но ни одно из них не удовлетворяет всем нашим требованиям. Мы небольшой стартап, поэтому мы хотим избежать домашних решений.

Спасибо

Answer 1

Фабрика данных Azure * Вероятно, вам лучше всего выбрать 1002 *.

Доступ к постоянно расширяющемуся портфелю из более чем 80 готовых соединителей, включая службы данных Azure, локальные источники данных. Amazon S3 и Redshift, а также Google BigQuery¬ - без дополнительных затрат. Фабрика данных обеспечивает эффективную и устойчивую передачу данных, используя полную пропускную способность базовой сети, обеспечивая пропускную способность до 1,5 ГБ / с.