Я настроил конвейер в Azure Фабрика данных в 1) Копирование файлов из хранилища в озеро 2) u- sql для объединения / обработки скопированных файлов и вывода в один файл 3) Открытие и обработка этого объединенного файла (вставьте в БД).
Что бы я ни пытался, с точки зрения разрешений, шаг 3 завершился неудачей. Все демонстрации и учебные пособия для Azure озера данных останавливаются на создании выходного файла, заявляющего об успехе. проделанная работа и т. д. c ..
Я нахожу документацию docs.microsoft достаточно запутанной (это может быть связано с Gen1 / Gen2 Lake ??). Конечно, то, что я пытаюсь сделать, это общий сценарий, взять некоторые файлы данных, объединить и вывести, обработать вывод.
Кажется, что файл, созданный процессом u- sql, имеет другого владельца из других файлов, поэтому самая распространенная ошибка - 403. При настройке конвейеров в ADF я могу перейти к папкам в хранилище озера et c для настройки, но не могу открыть файл без установки всех разрешений для файла в озере хранения. Когда я отлаживаю / запускаю конвейер в ADF, новый выходной файл не имеет этих разрешений, поэтому шаг выходного файла процесса в конвейере завершается неудачей.
Все эти ресурсы настроены в одной подписке azure.