Python API для извлечения загружаемых файлов с веб-сайта - PullRequest
Новая
       21

Python API для извлечения загружаемых файлов с веб-сайта

0 голосов
/ 21 апреля 2020

Я изучаю, как создавать API с Python для проекта Data Engineering / Analysis.

Я хочу написать Python API для подключения к этому сайту: https://insights.stackoverflow.com/survey и загрузить каждый полный набор данных за каждый год.

Может ли кто-нибудь указать мне общее направление, в котором я должен go решить эту задачу?

1 Ответ

0 голосов
/ 21 апреля 2020 
import os
import urllib

file_url  = 'file_url' # Get it with right-click on the download link
file_path = '~/your_file'

os.makedirs(os.path.dirname(fpath),
            exist_ok = True,
            )
urllib.request.urlretrieve(file_url,
                           file_path,
                           )
...