Я пытаюсь получить доступ к Crawlera с помощью Selenium.
Есть несколько других вопросов по этому вопросу, но все они устарели или их решения не работают для меня, несмотря на то, что другие говорят, что они работал на них (возможно, технология Crawlera изменилась за последние несколько лет).
Техническая поддержка Crawlera рекомендует использовать их безголовый браузер. Однако это поддерживается только для более дорогих и дорогих планов.
Я думаю, что наиболее многообещающие потенциальные решения выглядят примерно так:
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", <HOST>)
profile.set_preference("network.proxy.http_port", <PORT>)
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)
Для requests (чего я не могу использовать для моего проекта) Формат прокси-сервера crawlera подобен следующему: [API KEY]: @ [HOST]: [PORT]
Я экспериментировал с разделением / объединением HOST / PORT с моим ключом, но могу не заставить его работать.
Руководство, пожалуйста!