Получение записей, которые не удалось синхронизировать на этапе «Копировать данные» фабрики данных Azure - PullRequest
0 голосов
/ 21 мая 2019

Можно ли каким-то образом получить строки или любую информацию о строках, которые не были выполнены во время выполнения действия копирования данных фабрики данных Azure, и передать его следующему действию в конвейере?

В настоящее время я синхронизирую данныеиз базы данных Azure Sql в поисковый индекс Azure.Я выбрал «Пропустить и записать несовместимые строки» в качестве действия по отказоустойчивости.В документации я нашел следующую информацию:

Кроме того, вы можете регистрировать несовместимые строки в хранилище BLOB-объектов Azure или хранилище озера данных Azure.Затем вы можете просмотреть журнал, чтобы выяснить причину сбоя, исправить данные в источнике данных и повторить операцию копирования.

Но я бы очень хотел иметь какой-то не ручной способповторная синхронизация для ошибочных строк.Есть ли способ сделать это из коробки (без создания каких-либо пользовательских действий, которые получают файл журнала из хранилища, анализируют его и повторно синхронизируют)?Я чувствую, что отказоустойчивая опция «Добавить динамический контент» могла бы сработать, но ее функциональные возможности на самом деле не богаты и ограничены использованием нескольких функций и переменных времени выполнения.

1 Ответ

1 голос
/ 22 мая 2019

Отказоустойчивость не поддерживает автоматический способ повторной синхронизации.

Если вы хотите это сделать, я думаю, что вы можете подключить любое действие после того, как ваша активность копирования будет запущена по завершении копирования.Тогда хранилище сбоев будет содержать неверные данные, с ним можно выполнить любое действие.

Формат csv данных сбоев: https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-fault-tolerance#monitor-skipped-rows

data1, data2, data3, "UserErrorInvalidDataValue"," Столбец "Prop_2" содержит недопустимое значение "data3". Не удалось преобразовать "data3" в тип "DateTime". "data4, data5, data6, "2627", "Нарушение ограничения PRIMARY KEY 'PK_tblintstrdatetimewithpk'. Невозможно вставить дубликат ключа в объект 'dbo.tblintstrdatetimewithpk'. Значение дубликата ключа равно (data4)."

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...