Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL) - PullRequest
Новая
       56

Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL)

0 голосов
/ 24 февраля 2019

Мы используем AdLS (хранилище озера данных Azure) в качестве временного хранилища в нашем конвейере ADF (фабрика данных Azure - V2).Каков наилучший способ удалить данные, которые временно хранятся в ADLS?

U-SQL поддерживает только DDL, а не DML, поэтому не может удалить временные данные (файлы), хранящиеся в ADLS, с помощью ADLA (Azure)аналитика озера данных)

Я планирую использовать метод DELETE ADF "Web Activity", но он использует токены, срок действия которых истекает, и я должен постоянно обновлять их.

Может кто-нибудь, пожалуйста, дайте мне знать, чтодругие варианты у нас есть?

1 Ответ

0 голосов
/ 24 февраля 2019

лучший способ - использовать новую операцию удаления в ADF.В правом верхнем углу вашего интерфейса ADF вы можете найти раздел кода, щелкнуть здесь и написать синтаксис JSON для удаления активности (я не нашел виджет / значок удаления активности, поэтому мне нужно было написать непосредственно код JSON)

Вы можете проверить синтаксис здесь

Пример конвейера с только действием удаления 

{
"name": "DeleteFilePipeline",
"properties": {
    "activities": [
        {
            "name": "DeleteActivity",
            "type": "Delete",
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "typeProperties": {
                "dataset": {
                    "referenceName": "deleteTest",
                    "type": "DatasetReference"
                },
                "enableLogging": false,
                "maxConcurrentConnections": 1
            }
        }
    ]
}

}

Набор данных deleteTest - это набор данных Azure Data Lake Gen1.

...