Как Get Metadata упорядочивает / сортирует вывод? - PullRequest
1 голос
/ 23 сентября 2019

Я настроил конвейер DataFactory, который получает список файлов в хранилище озера данных Azure Gen2, а затем выполняет итерации по каждому файлу с помощью цикла ForEach.

Я использую операцию Get Metadata для создания списка файлови аргумент его вывода - «Дочерние элементы».

Я хочу убедиться, что список (дочерние элементы) всегда сортируется в порядке имен.Мой вопрос заключается в том, каков метод сортировки по умолчанию для дочерних элементов, или я могу отсортировать его вручную?

Спасибо

            "name": "GetMetadata",
            "description": "",
            "type": "GetMetadata",
            "dependsOn": [
                {
                    "activity": "Execute Previous Activity",
                    "dependencyConditions": [
                        "Succeeded"
                    ]
                }
            ],
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "userProperties": [],
            "typeProperties": {
                "dataset": {
                    "referenceName": "Folder",
                    "type": "DatasetReference"
                },
                "fieldList": [
                    "childItems"
                ]
            }
        },

Ответы [ 2 ]

0 голосов
/ 24 сентября 2019

Вероятно, вам следует попытаться реорганизовать свой процесс, чтобы воспользоваться одним из реальных преимуществ Azure Data Factory (ADF), который заключается в способности обрабатывать вещи параллельно.Что если вы сделали DELETE на основе файла / даты / периода вместо TRUNCATE?

Я получил последовательный процесс для работы с использованием поиска в базе данных, запрос с предложением ORDER BYдля сортировки выходных данных и цикла For Each, работающего в последовательном режиме, но это противоречит сильным сторонам АПД:

ADF pattern

0 голосов
/ 23 сентября 2019

К сожалению, нет способа отсортировать порядок ChildItems.Я нахожу это требование довольно странным, по какому сценарию вам нужны файлы, отсортированные?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...