Как использовать Jenkins для загрузки в Azure Data Lake Storage Gen1?

Question

Я нашел подключаемый модуль хранилища Windows Azure для Jenkins. Но похоже, что он работает только с хранилищем BLOB-объектов. Есть ли способ загрузить файлы в хранилище озера данных Azure Gen1 от Jenkins? Спасибо за вашу помощь!

Answer 1

AFAIK В настоящее время отсутствует плагин Jenkins для загрузки файлов в Azure Data Lake Storae Gen1 от Jenkins. Вы можете использовать Azure PowerShell или Azure CLI для выполнения вашего требования.

Пример команды Azure PowerShell:

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name -Path "C:\sampledata\vehicle1_09142014.csv" -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Пример команды интерфейса командной строки Azure:

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Для получения дополнительной информации, смотрите статьи ниже:

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-powershell#upload-data-to-your-data-lake-storage-gen1-account

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-cli-2.0

https://docs.microsoft.com/en-us/powershell/module/az.datalakestore/import-azdatalakestoreitem?view=azps-1.5.0

https://docs.microsoft.com/en-us/cli/azure/dls/fs?view=azure-cli-latest#az-dls-fs-upload

Несколько предварительных условий для выполнения этой работы без каких-либо проблем:

1. Установите Azure PowerShell / Azure CLI на узле, где выполняются команды.

2. Добавьте участника службы Azure к учетным данным Jenkins, как указано здесь -> https://docs.microsoft.com/en-us/azure/jenkins/execute-cli-jenkins-pipeline#add-azure-service-principal-to-jenkins-credential

Надеюсь, это поможет! Ура !!