Данные извлекаются из источника SQL сервера в объект $data
, а затем преобразуются в файл JSON (c:\data\file01.json
), хранящийся в папке.
Затем он загружается в Azure Data-Lake (Gen 2) с использованием кода ниже:
$clientContext = New-AzStorageContext -SasToken $storSAS -StorageAccountName $StorageAccountName
New-AzDataLakeGen2Item -Context $clientContext -FileSystem $filesystemName -Path $destPath -Source $localSrcFile -Force`
Можно ли пропустить запись в файл и напрямую загрузить объект в Azure Озеро данных?
Примерно так:
$clientContext = New-AzStorageContext -SasToken $storSAS -StorageAccountName $StorageAccountName
$object = $data.Tables.Rows | Select-Object -ExcludeProperty Table, ItemArray | ConvertTo-Json -Compress | out-file $fileLocation -Append
New-AzDataLakeGen2Item -Context $clientContext -FileSystem $filesystemName -object $object -Source $localSrcFile -Force
Где -Path был заменен на -Object