На мой взгляд, вам может быть лучше, если вы используете плагин для браузера и / или трассировку проволочной акулы для отслеживания HTTP-запросов, отправляемых браузером, когда вы делаете свой сценарий вручную, а затем точно реплицируете этот сетевой сеанс с использованием кода.
Парсинг элементов управления и получение запросов POSt для имитации отправки форм также выполним, но это намного больше работы.
Также вы можете посмотреть, предоставляет ли этот веб-сайт какой-либо REST или веб-сервис.API, которые дают вам возможность решить вашу проблему.