Я пытаюсь запустить сценарий Python для запроса некоторых веб-страниц с сервера. Я использую библиотеку запросов и в значительной степени использую аргументы по умолчанию, за исключением настраиваемых заголовков.
Я тестировал это на своем основном компьютере (назовем его A), на котором работает рабочий стол Ubuntu 18.04. Все работает нормально, и ответы с сервера правильные.
Теперь я пытался выполнить тот же сценарий на старом ноутбуке дома, который я использую для такого рода вещей (назовем его B) . Я воспроизвел ту же среду: ту же версию Python, те же пакеты. Этот ноутбук работает под управлением Debian 10.3 без окружения рабочего стола.
И A, и B используют один и тот же IP-адрес publi c, поскольку они подключены к локальной сети.
Проблема в том, что запросы отправленные компьютером B, систематически идентифицируются как бот и блокируются. Я пробовал это в течение нескольких дней, и это стабильно: все запросы от A работают нормально, все запросы от B - нет. Я даже могу запустить их оба одновременно, и поведение останется прежним.
Теперь это меня озадачило, потому что:
- Я понимаю, что с точки зрения веб-сервера запросы от A и B идентичны: один и тот же запрос, одинаковые заголовки, один и тот же IP.
- Очевидно, что рабочая нагрузка не является проблемой: я запускаю примерно один запрос каждые 10 минут.
В чем может быть причина того, что B блокируется, а A нет?