У меня есть веб-сайт, с которого я загружаю 2-3 МБ необработанных данных, которые затем загружаются в процесс ETL для загрузки их в мой киоск данных. К сожалению, провайдером данных является Министерство сельского хозяйства США (USDA), и они не разрешают загрузку через FTP. Они требуют, чтобы я использовал веб-форму, чтобы выбрать нужные элементы, щелкнул по 2-3 экранам и, в конце концов, нажал, чтобы загрузить файл. Я хотел бы автоматизировать этот процесс загрузки. Я не веб-разработчик, но почему-то мне кажется, что я должен иметь возможность использовать какой-то инструмент, чтобы точно сказать, что происходит с путём / get / magic от окончательного запроса к серверу. Если бы у меня был инструмент, который сказал: «Передайте эти параметры этому URL и дождитесь ответа», я мог бы тогда взломать что-нибудь вместе в Perl, чтобы автоматизировать этот процесс.
Я понимаю, что, если бы я разобрал все 5 их страниц и прочитал все включенные в JavaScript сценарии и трижды коснулся моих исцелений, я мог бы получить эту информацию из того, к чему у меня есть доступ. Но я хочу более быстрый и более прямой путь, который не требует, чтобы я вручную анализировал все их JS.
Пересмотр окончательного вопроса: существует ли инструмент или метод, который четко покажет, каким был окончательный запрос запроса, отправленный с веб-формы, и как он был структурирован?