Как скопировать файлы с веб-сайта в хранилище BLOB-объектов Azure

Question

Я пытаюсь скопировать файлы с этого сайта http://nemweb.com.au/Reports/Current/Daily_Reports/ в мою учетную запись хранения BLOB-объектов Azure

Мой первый вариант состоял в том, чтобы попробовать фабрику данных Azure, но в итоге она скопировала html, который, очевидно, не то, что я ищу, а скорее zip-файлы внутри

Мой вопрос - АДФ - правильный инструмент для этого, или, если я посмотрю на что-то другое, любое направление будет очень признательно.

в настоящее время я использую Powerquery для чтения данных, и это здорово, к сожалению, для службы PowerBI требуется шлюз для обновления, что не очень удобно в моем случае, поэтому я ищу другой вариант в стеке данных Microsoft

edit: я иду по маршруту с питоном, но рад услышать любую альтернативу

Answer 1

Мне кажется, я нахожу решение, Python, оно отлично интегрируется с Azure BLOB-объектов, и код для загрузки файлов очень прост, теперь мне нужно выяснить, какой из сервисов является лучшим для запуска скрипта Python наоблако

import re
import urllib.request
from urllib.request import urlopen

url = "http://nemweb.com.au/Reports/Current/Daily_Reports/"
result = urlopen(url).read().decode('utf-8')

pattern = re.compile(r'[\w.]*.zip')
filelist = pattern.findall(result )
for x in filelist:
      urllib.request.urlretrieve(url+x, x)