Вход на сайт для веб-скрап в Python

Question

Я хочу очистить данные с веб-сайта, на котором начальный вход (где у меня есть рабочие учетные данные). Невозможно проверить код для этого, это журнал, который всплывает перед посещением сайта. Я пытался искать вокруг, но не нашел никакого ответа - возможно, я не знаю, что искать.

Вот что вы получаете при переходе на сайт:

Вход

Любая помощь приветствуется: -)

Answer 1

Исходя из вашего скриншота, похоже, что он использует только обычную аутентификацию.

Использование библиотеки «запросов»:

import requests

session = requests.Session() r = session.get(url, auth=requests.auth.HTTPDigestAuth('user', 'pass'))

Должен доставить вас туда.

Answer 2

Я не смог получить ответ Тома на работу, но нашел работу вокруг:

from selenium import webdriver
driver = webdriver.Chrome('path to chromedriver')
driver.get('https://user:password@webaddress.com/')

Это сработало:)

Answer 3

Решение состоит в том, чтобы использовать общедоступный API REST для сайта.

Если веб-сайт не предоставляет API REST для взаимодействия с ним, вы не должны удивляться, что ваша попытка симуляции человека трудна,Чистка веб-страниц обычно возможна только для страниц, которые не требуют аутентификации или используют стандартный ответ о состоянии HTTP 401, чтобы сообщить клиенту, что он должен предложить пользователю ответить с правильными учетными данными.Если сайт использует другой механизм, скорее всего, на основе AJAX, то решение будет специфичным для этого веб-сайта или других сайтов, использующих тот же механизм.Это означает, что никто не может ответить на ваш вопрос, поскольку вы не сообщили нам, с каким веб-сайтом вы взаимодействуете.