Данные Python, к которым можно получить доступ только через вход в Google OAuth - PullRequest
0 голосов
/ 01 января 2019

Я хочу собрать некоторые данные с веб-сайта, который использует Google OAuth для аутентификации.К некоторым данным можно получить доступ, только если я выполню вход в систему.

Обычно, когда вы открываете веб-сайт (mamikos.com) и нажимаете кнопку «Войти», для обычной формы входа нет никакой опции, она даст вам возможностьвойдите с помощью Facebook или Google.Затем он перенаправит вас на страницу входа в Google.После входа в систему с учетной записью Google вы будете перенаправлены на домашнюю страницу веб-сайта, и все данные будут легко доступны простым щелчком мыши.

Я в основном новичок, знаю только базовое кодирование и поиск в Google.Я смотрел везде, но мне кажется, что я смотрю не в том месте.Я пытался написать код с помощью selenium для автоматизации клика, передачи имени пользователя / пароля и выполнения входа в систему, но, по-видимому, selenium не является подходящим инструментом для этого, так как он откроет браузер и сделает все.

Можно ли сделать этот процесс входа в систему и аутентификации в фоновом режиме?Я получил более ста тысяч URL-адресов страниц, с которых мне нужны данные.Использование селена приведет к сбою в работе моего компьютера, и его завершение займет много времени.

Может кто-нибудь здесь показать или хотя бы указать мне нужные инструменты / библиотеку / метод.или idk это вообще возможно?

Спасибо

1 Ответ

0 голосов
/ 03 января 2019

Я понимаю, что может быть сложно собрать данные с таких сайтов, которые находятся за страницами входаВам нужно будет изучить базовую репликацию запроса, который отправляется на сервер через библиотеку запросов Python.Это может быть пугающим в начале, но вы можете узнать это шаг за шагом здесь .

...