Имитация посещения страницы в Python

Question

Я хотел бы автоматизировать следующие действия на веб-сайте с точки зрения сервера:

1. Пользователь посещает веб-сайт
2. Пользователь проходит проверку подлинности с помощью файла cookie
3. Пользователь нажимает на внутреннюю ссылку

Так что в основном это простой бот, который перемещается по сайту заранее определенным образом.Как мне создать что-то подобное в Python для запуска на Raspberry Pi?

Answer 1

Есть много разных подходов к этому, но я перечислю несколько, чтобы вы знали, что искать:

1. Напишите простой запрос с cookie и python requests библиотека и внутреннее cookiejar
2. Использование Python + Beautiful Soup
3. Написать сканер с библиотекой Scrapy чтобы подключиться к сайту и собрать информацию по страницам (по ссылкам, которые он находит)
4. Если вам нужно запустить Javascript, посмотрите на использование Selenium