Автоматическая загрузка файла, динамически генерируемого по запросу http

Question

Я пытаюсь автоматизировать загрузку набора CSV-файлов, которые генерируются из базы данных, на основе которых установлены флажки в форме. Веб-сайт генерирует CSV-файл одним нажатием кнопки «Загрузить». Я нашел URL-адрес для приглашения на загрузку с помощью Firebug (и определил, как он меняется на основе выбора флажка), но не уверен, как его использовать, поскольку он генерируется динамически и не содержит пути к файлу. Пример URL-адреса следующий:

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000

Каков наилучший способ сделать это? Я заглянул в модуль механизации Python и кратко остекленел над pydermonkey, но не смог найти документацию по загрузке динамически генерируемых файлов. Я также нашел несколько предложений на других форумах по использованию VBscript и Perl. Я предпочитаю использовать Python, если это возможно, так как я лучше с ним знаком, но если другой язык более уместен, я изучу то, что мне нужно чтобы выполнить эту задачу - я просто надеюсь сделать это эффективно! Буду признателен всем, кто имеет опыт / знания / понимание этой темы.

Answer 1

Вероятно, самый простой способ сделать это - использовать инструмент командной строки wget.Если под управлением UNIX / Linux он уже есть.Если вы работаете в Windows, то версию Win32 можно загрузить с: http://gnuwin32.sourceforge.net/packages/wget.htm

. Вы можете использовать сценарий shell / batch, который загрузит файл для вас.

Пример дляWindows:

set id=10
set sc=1
set mr=10000

set my_url=https://www.quantcast.com/download/plannerCSV?&d0Id=%id%&sc=%sc%&mr=%mr%
set filename=planner.csv

wget %my_url% --output-document=%filename%

:
: do stuff with file
: