Вставить или пропустить опцию для инструмента миграции данных Azure?

Question

В настоящее время я использую инструмент переноса данных Azure для переноса из хранилища таблиц в Cosmos и ищу способ определить, существует запись или нет, чтобы избежать дублирования затрат на обработку - я ожидаю, чтопропуск существующих записей сэкономит время.Я предпочитаю использовать инструмент над AzCopy, потому что, насколько я могу судить, это более упрощенный процесс.Однако после просмотра документов для здесь я не нашел способа идентифицировать существующие записи с ним.Я ищу что-то вроде "InsertOrSkip" флага, который доступен в AzCopy.Кто-нибудь знает, есть ли в инструменте переноса данных аналог, который, возможно, просто не был явно указан в руководстве?Спасибо всем.

Answer 1

спб.Основываясь на моих исследованиях инструмента миграции данных Azure исходный код github , такого механизма Insert or skip в нем нет.

Однако, возможно, я мог бы предложить вам два обходных пути.

Первый, вы можете использовать Azure Data Factory для реализации вашей передачи данных. Сделайте табличное хранилище в качестве источника и сделайте cosmos db table apiкак сток. Вы можете написать запрос sql в azureTableSourceQuery свойстве для фильтрации дублирующихся данных.

Во втором случае вы можете использовать Функция Azure CosmosDB Trigger .Любое приращение данных вызовет метод, чтобы проверить, существуют ли данные в базе данных.Если так, то удалите.

Надеюсь, это вам поможет.