Будучи заблокированным, когда я хочу очистить сайт

Question

Я пытаюсь очистить веб-сайт, но у меня была проблема с 403 запрещенными (это означает, что они заблокировали меня), как я могу решить эту проблему?

from bs4 import BeautifulSoup
from selenium import webdriver

options = webdriver.ChromeOptions()
options.headless = True
driver = webdriver.Chrome(options=options)
#url: the website that i wanna scrape
driver.get(url)

html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
print(soup)

Я получил это сообщение об ошибке:

<code><pre>&lt;html&gt;&lt;head&gt;&lt;title&gt;You have been blocked&lt;/title&gt;&lt;style&gt;#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}&lt;/style&gt;&lt;/head&gt;&lt;body style=&quot;margin:0&quot;&gt;&lt;script async=&quot;&quot; src=&quot;/_Incapsula_Resource?SWJIYLWA=719d34d31c8e3a6e6fffd425f7e032f3&amp;amp;ns=1&amp;amp;cb=749975105&quot; type=&quot;text/javascript&quot;&gt;&lt;/script&gt;&lt;script&gt;var dd={&apos;cid&apos;:&apos;AHrlqAAAAAMAcW1trsuCoDEAXu-3KQ==&apos;,&apos;hsh&apos;:&apos;53505CB4534F4422CC81E4A9499234&apos;,&apos;t&apos;:&apos;fe&apos;}&lt;/script&gt;&lt;script src=&quot;https://ct.datado.me/c.js&quot;&gt;&lt;/script&gt;&lt;iframe border=&quot;0&quot; frameborder=&quot;0&quot; height=&quot;100%&quot; scrolling=&quot;yes&quot; src=&quot;https://c.datado.me/captcha/?initialCid=AHrlqAAAAAMAcW1trsuCoDEAXu-3KQ%3D%3D&amp;amp;hash=53505CB4534F4422CC81E4A9499234&amp;amp;cid=09ccOuPGIGlqdUvFNJgB7GzPDCFBmdMIU8Ng~E~1M6.&amp;amp;t=fe &quot; style=&quot;height:100vh;&quot; width=&quot;100%&quot;&gt;&lt;/iframe&gt;&lt;script type=&quot;text/javascript&quot;&gt;
//&lt;![CDATA[
(function() {
var _analytics_scr = document.createElement(&apos;script&apos;);
_analytics_scr.type = &apos;text/javascript&apos;; _analytics_scr.async = true; _analytics_scr.src = &apos;/_Incapsula_Resource?SWJIYLWA=719d34d31c8e3a6e6fffd425f7e032f3&amp;ns=1&amp;cb=749975105&apos;;
var _analytics_elem = document.getElementsByTagName(&apos;script&apos;)[0]; _analytics_elem.parentNode.insertBefore(_analytics_scr, _analytics_elem);
})();
// ]]&gt;
&lt;/script&gt;
&lt;/body&gt;&lt;/html&gt;

Answer 1

403 Запрещено

HTTP 403 Forbidden код ответа о состоянии ошибки клиента указывает, что сервер получил запрос, но клиент не авторизован и неиметь права доступа к контенту.

Этот статус аналогичен 401, но в этом случае повторная проверка подлинности не будет иметь значения.Доступ навсегда запрещен и связан с логикой приложения, такой как недостаточные права на ресурс.

---

Пример ответа

HTTP/1.1 403 Forbidden 
Date: Sun, 16 June 2019 07:28:00 GMT

---

Причина

Браузер без головы Chrome может быть обнаружен многими способами, и некоторые из основных факторов включают в себя:

• User agent
• Plugins
• Languages
• WebGL
• Browser features
• Missing image

Подробное обсуждение можно найти в . Селен и браузер без заголовка постоянно запрашивают код Captcha

---

Решение

Общее решение будетиспользовать прокси или вращающиеся прокси из Список бесплатных прокси .

Подробное обсуждение можно найти в Сменить прокси в chromedriver для очистки