Мы получаем информацию с определенного веб-сайта каждую минуту в течение дня. В определенное время в течение дня веб-сайт получает всплеск запросов от других пользователей, и мы больше не можем получить к нему доступ для продолжения получения информации примерно через 10 минут, после чего наше исследование становится недействительным. Мы получаем такие ошибки, как внутренняя ошибка сервера 500 и тайм-аут первого байта 503. Предположительно, серверы, на которых размещен этот веб-сайт, перегружены ростом новых запросов от других пользователей.
Есть ли что-нибудь, что мы можем сделать со стороны клиента: A. установить приоритет нашего подключения к этому серверу или B . поддерживать открытое соединение с этим сервером, чтобы убедиться, что мы можем продолжать получать информацию?
Мы используем Chrome через селен для доступа к сайту и запускаем сценарий python для получения данных.