Вид метаданных, которые мне нужны, включает размеры файлов, количество строк, имена файлов, если файл уже обработан и т. Д., И я хочу захватить поток данных от источника к цели, включая захват данных из данных Azure. озеро и БД SQL.
Я также хочу сохранить эти метаданные в таблицах SQL в качестве управляющей таблицы и проверить, как файлы / таблицы / данные изменились за весь процесс ETL / ELT.
Единственный способ сделать это - использовать хранимые процедуры в ADF, которые собирают метаданные для каждой части и сохраняют в таблицах SQL, но я не был уверен, как я могу прочитать метаданные из файлов в озере данных. .
Кто-нибудь придумал, как это сделать, или даже лучшее решение?