Скачивайте и храните файлы GRIB2 в Azure

Question

В настоящее время в моем контейнере Linux Docker у меня есть сценарий bash, который может загружать многие файлы прогноза погоды GRIB2 с указанного URL-адреса c с помощью имени пользователя cook ie. После загрузки этих файлов я использую исполняемый файл из библиотеки ECCODES, который я установил в тот же контейнер Docker, чтобы отфильтровать ненужные данные и уменьшить размер файлов.

Моя компания имеет доступ к Azure, и я хотел бы загрузить и отфильтровать эти файлы GRIB2 непосредственно на платформе Azure, чтобы мне не приходилось вручную запускать сценарий и всегда загружать файлы, а затем загружать их в Azure хранилище.

Однако я никогда раньше не работал с Azure, поэтому я хотел бы знать, что:

можно ли было бы запустить этот скрипт на Azure виртуальной машине, которая загружала бы и хранить непосредственно отфильтрованные файлы GRIB2 в хранилище Azure (хранилище BLOB-объектов представляется наилучшим вариантом, исходя из того, что я прочитал до сих пор)?

Спасибо!

Answer 1

#!/usr/bin/env bash

export AZURE_STORAGE_ACCOUNT=your_azure_storage_account
export AZURE_STORAGE_ACCESS_KEY=your_azure_storage_access_key

# Retrieving current date to upload only new files
date=`date +%Y-%m-%dT%H:%MZ`

az login -u xxx@yyy.com -p password --output none

containerName=your_container_name

containerExists=`az storage container exists --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_ACCESS_KEY --name $containerName --output tsv`
if [[ $containerExists == "False" ]]; then
    az storage container create --name $containerName # Create a container
fi

# Upload GRIB2 files to container
fileExists=`az storage blob exists --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_ACCESS_KEY --container-name $containerName --name "gfs.0p25.2019061300.f006.grib2" --output tsv`
if [[ $fileExists == "False" ]]; then
    az storage blob upload --container-name $containerName --file ../Resources/Weather/Historical_Data/gfs.0p25.2019061300.f006.grib2 --name gfs.0p25.2019061300.f006.grib2
fi