Как найти последний файл в папке, используя фабрику данных Azure v2 (adf)

Question

Я пытаюсь прочитать последний файл BLOB-объекта (CSV), используя фабрику данных Azure v2. Имя файла также содержит дату (ГГГГ-ММ-ДД мм: сс-abcd.csv). Мне нужно прочитать данные из последнего файла и загрузить их в хранилище таблиц. Не могли бы вы помочь мне с тем, как прочитать последний файл, используя ADF

Answer 1

Привет Фаиз Рахман и спасибо за ваш вопрос.Выбранный формат даты имеет полезную функцию лексикографической сортировки и хронологической сортировки.Это означает, что если у вас есть список BLOB-объектов, извлечение даты и сравнение - это все, что нужно.

Если у вас очень большой список BLOB-объектов, это может оказаться нецелесообразным.В этом случае всякий раз, когда вы пишете новый BLOB-объект, где-то отслеживайте его, скажем, «maxBlobName.txt», и выполняйте конвейер, чтобы прочитать имя самого последнего файла.

Вот примеркод для сравнения части даты ваших имен BLOB.Чтобы адаптироваться к вашим целям, вам нужно использовать действие GetMetadata для извлечения имен BLOB-объектов и некоторые строковые функции для извлечения только части даты для сравнения.

{
"name": "pipeline9",
"properties": {
    "activities": [
        {
            "name": "ForEach1",
            "type": "ForEach",
            "dependsOn": [
                {
                    "activity": "init array",
                    "dependencyConditions": [
                        "Succeeded"
                    ]
                }
            ],
            "typeProperties": {
                "items": {
                    "value": "@variables('list')",
                    "type": "Expression"
                },
                "isSequential": true,
                "activities": [
                    {
                        "name": "If Condition1",
                        "type": "IfCondition",
                        "typeProperties": {
                            "expression": {
                                "value": "@greater(item(),variables('max'))",
                                "type": "Expression"
                            },
                            "ifTrueActivities": [
                                {
                                    "name": "write new max",
                                    "type": "SetVariable",
                                    "typeProperties": {
                                        "variableName": "max",
                                        "value": {
                                            "value": "@item()",
                                            "type": "Expression"
                                        }
                                    }
                                }
                            ]
                        }
                    }
                ]
            }
        },
        {
            "name": "init array",
            "type": "SetVariable",
            "typeProperties": {
                "variableName": "list",
                "value": {
                    "value": "@split(pipeline().parameters.input,',')",
                    "type": "Expression"
                }
            }
        }
    ],
    "parameters": {
        "input": {
            "type": "string",
            "defaultValue": "'2019-07-25','2018-06-13','2019'-06-24','2019-08-08','2019-06-23'"
        }
    },
    "variables": {
        "max": {
            "type": "String",
            "defaultValue": "0001-01-01"
        },
        "list": {
            "type": "Array"
        }
    }
}

}