Delta Lake Gen2 для миграции MongoDB

Question

Какой конвейер Azure и хранилище данных вы бы предпочли для миграции MongoDB?

Я знаю, что существует функциональность Azure службы миграции, где вы можете перенести данные MongoDB непосредственно в Azure CosmosDB. Azure Службы миграции доступны только для определенных лицензий c. Используя Cosmos DB, также необходимо позаботиться о расходах. Другая возможность - использовать Stitch для переноса MongoDB непосредственно в Azure.

Поскольку мы не хотим использовать дополнительный инструмент, мы хотим использовать Azure Data Factory для переноса данных MongoDB в Azure Хранение данных. Мы хотим использовать Data Lake Storage 2-го поколения, поскольку оно сочетает в себе преимущества хранилища BLOB-объектов и Data Lake Storage 1-го поколения.

Какой конвейер вы бы предпочли? Есть ли опыт хранения данных MongoDB в Azure Data Lake Storage Gen2?

Answer 1

См. Следующий документ Azure фабрики данных , относящийся к конвейерам и действиям , в котором подробно описаны исходные и целевые конечные точки данных, которые в настоящее время поддерживаются.

• Копирование данных в Azure Data Lake Storage 1-го поколения с помощью Azure Фабрика данных

• Копирование и преобразовать данные в Azure Data Lake Storage Gen2 с помощью Azure Фабрики данных

• Копировать данные из MongoDB с помощью Azure Фабрики данных

Используя коннектор MongoDB в качестве источника и Azure Data Lake Storage Gen2 в качестве приемника, вы можете выполнить любое преобразование и, наконец, перенести данные в Azure Cosmos DB ... если

• Копирование и преобразование данных в Azure Cosmos DB (SQL API) с помощью Azure Фабрики данных
• Копировать данные в или из Azure API Cosmos DB для MongoDB с помощью Azure фабрики данных

Если вы Если возникнут проблемы с переносом данных в Azure Cosmos DB, рассмотрите следующие варианты прямой миграции: Варианты переноса локальных или облачных данных в Azure Cosmos ДБ