Я использую ADF v2 для импорта данных из источника CSV в хранилище BLOB-объектов в хранилище данных SQL Azure. Моя первая операция в конвейере - это операция копирования из CSV (в хранилище горячих больших двоичных объектов) в Azure SQL DWH. Если это действие успешно завершено, следующим будет снова Копирование, но теперь из CSV (в хранилище горячих больших двоичных объектов) в CSV (в хранилище горячих больших двоичных объектов), переместите процесс для оптимизации истории и ценообразования в хранилище. Имя файла CSV-файла отправляется в Pipeline в виде Pipeline-Parameter.
Что я заметил, так это то, что если я запускаю параметр конвейера с именем файла в csv, которого нет в хранилище больших двоичных объектов, первое действие копирования (CSV -> DWH) завершается без ошибок. Он не импортирует какие-либо данные в DWH, что является нормальным, но не вызывает ошибки отсутствующего файла. Следующая операция копирования (CSV-хранилище -> CSV-хранилище) вызывает ошибку Failed -> BLOB-объект отсутствует.
Я также хотел бы, чтобы Copy to DWH вызывал Error, потому что таким образом я могу добавить другое действие в конвейер, который будет обрабатывать эту ситуацию. Зарегистрируйте ошибку где-нибудь, отметьте файл как отсутствующий и т. Д.
Что конкретно относится к операции копирования из хранилища в DWH, которая успешно завершается без наличия исходного большого двоичного объекта? Я использую флажок polybase в части Sink, если это что-то значит.
Кто-нибудь знает, как установить для этого действия копирования (Storage CSV -> SQL DWH) значение Fail, если исходный BLOB-объект не существует?
Спасибо