Как исправить «Инструмент переноса данных DocumentDB»

Question

Я использую инструмент переноса данных DocumentDB для переноса данных AWS DynamoDB в Azure CosmosDB, но получаю ошибку для данных больших таблиц.

Похоже, что инструмент переноса данных DocumentDB имеет максимальную емкость для передачи данных 500 Кбайт, но у меня есть динамо-таблица БД, которая содержит данные около 315 МБ. Так есть ли другие методы / инструменты для передачи данных из БД Динамо в БД Космос?

Я также пытался преобразовать динамо-базу данных в файл JSON и загрузить его в коллекцию космос-БД, но максимальный размер коллекции космос-БД составляет 2 МБ. В изображении 2, показывающем ошибку только для большого файла данных, в то время как я пытался использовать файл размером менее 500 Кбайт, он работал правильно.

Этап предварительного просмотра

Ошибка изображения

Answer 1

Итак, есть ли другие методы / инструменты для передачи данных из БД Динамо в БД Космос?

Кажется, что вы попали в ловушку ограничения БД Космос. Так как вы могли преобразоватьданные в файлы json, может быть, вы могли бы рассмотреть следующий способ.

1. Сохраните файлы json в Хранилище BLOB-объектов Azure .

2.Используйте фабрику данных фабрики данных Azure Операция копирования для передачи данных из хранилища больших двоичных объектов в cosmos db .

Я мог ожидать, что вы столкнетесь с узким местом в производительности с большими данными,пожалуйста, обратитесь к этому документу .

Если вы все еще не можете выполнить передачу гладко, я предлагаю вам фрагментировать файлы json с кодом, чтобы он не мог быть больше 2 МБ.

Советы. Кстати, вы можете проголосовать за этот отзыв , чтобы ускорить процесс добавления источника данных Amazon DynamoDb в фабрику данных Azure.

Спасибо.