Как мы можем использовать Selenium Webdriver в colab.research.google.com?

Question

Я хочу использовать Selenium Webdriver Chrome в colab.research.google.com для быстрой обработки. Я смог установить Selenium, используя !pip install selenium, но веб-драйверу chrome нужен путь к webdriverChrome.exe. Как я должен использовать это?

P.S.-colab.research.google.com - это онлайн-платформа, которая предоставляет графические процессоры для быстрых вычислительных задач, связанных с глубоким обучением. Пожалуйста, воздержитесь от таких решений, как webdriver.Chrome (путь).

Answer 1

Вы можете сделать это, установив хром-веб-драйвер и настроив некоторые параметры, чтобы он не зависал в google colab:

!pip install selenium
!apt-get update # to update ubuntu to correctly run apt install
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
import sys
sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver')
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
wd.get("https://www.webite-url.com")

Answer 2

Вы можете избавиться от использования файла .exe с помощью WebDriverManager, поэтому вместо этого

System.setProperty("webdriver.gecko.driver", "driverpath/.exe");
WebDriver driver = new FirefoxDriver();

вы будете писать это

WebDriverManager.firefoxdriver().setup();
WebDriver driver = new FirefoxDriver();

Все, что вам нужно, это добавить зависимость в файл POM (я предполагаю, что вы используете maven или какой-либо инструмент для сборки) Пожалуйста, смотрите мой полный ответ о том, как использовать это в этой ссылке Использование WebdriverManager