Azure Data Factory получает данные из значения foreach - PullRequest
0 голосов
/ 13 сентября 2018

У меня есть операция поиска, которая получает значение из контейнера в BLOB-объекте. У меня есть действие foreach, которое связано с поиском

enter image description here

и в настройках имеет значение:

@activity('LookupMessageType').output.value

У меня есть другая операция копирования, которая выполняется в рамках этой операции foreach. Он копирует данные из космической БД в Azure Data Lake.
enter image description here

Это запрос в наборе исходных данных:

select c.Tag, data.assetTag, data.timestamp, data.jsonVersion, data.messageType, data.speed from c join data in c.data
where (data.speed>  item().speed_Value) AND
(data.timestamp >= '@{formatDateTime(addhours(pipeline().TriggerTime, -1), 'yyyy-MM-ddTHH:mm:ssZ' )}' 
AND data.timestamp < '@{formatDateTime(pipeline().TriggerTime, 'yyyy-MM-ddTHH:mm:ssZ' )}')

Я получаю сообщение об ошибке при запуске этого конвейера:

{
    "errorCode": "2200",
    "message": "Failure happened on 'Source' side. ErrorCode=UserErrorDocumentDBReadError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=DocumentDb operation failed: Message: {\"errors\":[{\"severity\":\"Error\",\"location\":{\"start\":231,\"end\":235},\"code\":\"SC2005\",\"message\":\"'item' is not a recognized built-in function name.\"}]}\r\nActivityId: *redacted*, documentdb-dotnet-sdk/1.21.1 Host/64-bit MicrosoftWindowsNT/6.2.9200.0.,Source=Microsoft.DataTransfer.ClientLibrary.DocumentDb,''Type=Microsoft.Azure.Documents.BadRequestException,Message=Message: {\"errors\":[{\"severity\":\"Error\",\"location\":{\"start\":231,\"end\":235},\"code\":\"SC2005\",\"message\":\"'item' is not a recognized built-in function name.\"}]}\r\nActivityId: redacted, documentdb-dotnet-sdk/1.21.1 Host/64-bit MicrosoftWindowsNT/6.2.9200.0,Source=Microsoft.Azure.Documents.Client,''Type=System.Runtime.InteropServices.COMException,Message=Exception from HRESULT: 0x800A0B00,Source=,'",
    "failureType": "UserError",
    "target": "Copy Data1"
}

Он говорит, что элемент не является именем встроенной функции. Я хочу использовать значение из операции foreach для запроса источника.

Кроме того, вот мой динамический путь к файлу

@concat('test_', item().speed, '.csv')

Я получаю желаемую динамическую файловую структуру с этим выражением, если я использую статические значения в запросе, например: data.speed> 500

1 Ответ

0 голосов
/ 13 сентября 2018

Итак, я выяснил, что не так с запросом: вместо

where (data.speed> item().speed_Value)

Я должен был использовать

where (data.speed> @{item().speed_value})
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...