Так что я пытался почистить сайт Reuters. После прохождения целого ряда статей возвращается ошибка 403. Я предполагаю, что это своего рода предотвращение атаки / уничтожения ботов. Я попытался добавить заголовки, но это не помогло. Кроме того, всякий раз, когда я получал ошибку, я спал код в течение 15 минут, прежде чем возобновить, но та же самая ошибка произошла. Как мне с этим бороться?
Интересная вещь, которую я заметил, состоит в том, что, если я делаю кучу запросов (не извлекаю и не обрабатываю возвращенные данные) до тех пор, пока не получу ошибку 403, подождите 10 минут и затем снова запустите, это работает. Не уверен, почему это так.