Azure Data Factory: управление жизненным циклом данных и очистка устаревших данных

Question

Я работаю над требованием снизить стоимость хранения данных. Он включает в себя следующие задачи:

1. Возможность удаления файлов из общего ресурса и больших двоичных объектов из хранилища BLOB-объектов на основе даты их последнего изменения.
2. Возможность изменения уровня отдельных BLOB-объектов, основанные на дате их последнего изменения.

Имеет ли Azure фабрика данных встроенные действия для решения этих задач? Каков наилучший подход для автоматизации процесса очистки?

Answer 1

1. Возможность удаления файлов из общего ресурса и больших двоичных объектов из хранилища BLOB-объектов на основе даты их последнего изменения.

Это требование может быть реализовано встроенным методом ADF: Удалить действие .

Пожалуйста, создайте набор данных хранилища больших двоичных объектов и просто обратитесь к этому примеру и настройте диапазон даты последнего изменения: https://docs.microsoft.com/en-us/azure/data-factory/delete-activity#clean -up-the-expired-files -то-были-последние-изменены-до-201811

Пожалуйста, рассмотрите некоторую резервную стратегию для некоторых аварий, потому что:

2. Возможность изменения уровня отдельных BLOB-объектов в зависимости от даты их последнего изменения.

Нет встроенной функции для выполнения этого в АПД. Однако, хотя я заметил, что ваш профиль показывает, что вы. net производитель, следуйте этому примеру: Azure Java SDK - установите блоб блоба для охлаждения уровня хранения при загрузке , чтобы вы могли знать Уровень может быть изменен в коде SDK. Легко создать функцию Azure для выполнения такой простой задачи. Кроме того, ADF поддерживает Azure Функция Activity .