Задача Apify внезапно возвращает ошибки 403 и 503 после нескольких месяцев работы

Question

Не уверен, почему это происходит. Я использовал это ежедневно в течение нескольких месяцев, и это внезапно сломалось этим утром. Возвращается следующая ошибка:

CrawlerError: Страница не может быть открыта (статус: ошибка, URL: https://history.com/this-day-in-history/, lastResourceError: {"errorCode": 403, "errorString" : «Ошибка загрузки https://history.com/this-day-in-history/ - сервер ответил: служба недоступна», «id»: 1, «status»: 503, «statusText»: «служба недоступна», «url»: « https://history.com/this-day-in-history/ "}, lastResourceTimeoutResponse: null)

Ничего в коде не изменилось, сайт все еще работает и работает нормально. Есть ли причина, по которой он может внезапно перестать работать?

Answer 1

Это может означать, что веб-сайт теперь распознает вас как бота и блокирует ваши запросы. Я бы проверил некоторые статьи в этом разделе документации . Мы также работаем над руководством по борьбе с соскабливанием.