javascript войти в веб-страницу без браузера только с запросами scrape / webcrawl - PullRequest
0 голосов
/ 02 декабря 2018

Я хочу войти на веб-страницу с реактивной системой.Нет публичного API.Эта веб-страница не от меня.Я спрашиваю их, нормально ли это делать, и они сказали «да».Так что это не хакерский вопрос.Это мобильный провайдер, и я хочу создать приложение для отображения данных оттуда.Я посмотрел с отрыжкой на запросы.Вот фотография: enter image description here

Я скопировал запрос как curl и преобразовал его в выборку.Я получаю только первый cookie (самообслуживание) из запроса.Это мой код для первого запроса:

 fetch('https://onlineservice.klarmobil.de/checklogin', {
        method: 'POST', // or 'PUT'
        credentials: 'same-origin',
        body: 'f_username=xxx&f_password=xxx',
        headers: {
            'Host': 'onlineservice.klarmobil.de',
            'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0',
            'Accept': 'application/json, text/javascript, */*; q=0.01',
            'Accept-Language': 'de,en-US;q=0.7,en;q=0.3',
            'Accept-Encoding': 'gzip, deflate',
            'Referer': 'https://www.klarmobil.de/',
            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
            'Content-Length': '68',
            'Origin': 'https://www.klarmobil.de',
            'Connection': 'close'

        }
    })

Второй файл cookie, который я не могу получить с помощью fetch.(kmPost) Все, что я хочу, это получить HTML-код.

Я не знаю, правильно ли я это делаю ... Может, кто-нибудь может мне помочь?

Может быть, есть полностьюдругой способ симулировать логин без куки?

Если кто-то может дать мне решение с простым javascript / node, я приму ответ

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...