Возможно ли удалить файлы из datalake с помощью фабрики данных? Это очень трудно сделать, я застрял на этом.
Для этого лучше всего создать пакет Azure.
https://docs.microsoft.com/en-us/azure/batch/
Вы можете создать приложение, которое удаляет файлы и вызывает их из фабрики данных. Вы также можете передавать файлы в качестве параметров.
Невозможно удалить файл с помощью фабрики данных. Я обнаружил, что основной целью фабрики данных является оркестровка ETL.
Если вы знакомы с кодированием .NET / Java, я бы предложил вам создать функцию Azure, которая будет вызываться из ADF, и она удалит файл. Функции Azure теперь поддерживаются в ADF (не нужно использовать триггер HTTP / веб-компонент)
В Data Lake существует SDK для работы с файлом, который содержит метод Delete, который удаляет файл из хранилища Data Lake Store. Посмотрите на эту документацию: https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk#see-also
Метод удаления: https://docs.microsoft.com/en-us/dotnet/api/microsoft.azure.datalake.store.adlsclient.delete?view=azure-dotnet
Вы можете передать путь к файлу в качестве параметра / заголовка запроса независимо от того, что вам удобнее, от ADF до функции Azure. Надеюсь, что это предложение поможет вам.