Может кто-нибудь сказать мне, как прочитать этот файл в Python? - PullRequest
Новая
       31

Может кто-нибудь сказать мне, как прочитать этот файл в Python?

0 голосов
/ 01 октября 2019

Это результат использования scrapy-splash в Python после просмотра страницы LinkedIn. Вот его начало. 

b'<html><head></head><body>\x1f\xef\xbf\xbd\x08\x03\xef\xbf\xbd\xef\xbf\xbdko+I\xef\xbf\xbd \xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbd\x0f1\x1cT]]\xef\xbf[...]

Понятия не имею, как это прочитать? Спасибо.

1 Ответ

0 голосов
/ 01 октября 2019

Похоже, это исходило из строки, которую я прокомментировал ... Понятия не имею, почему. 

lua_script = """
function main(splash)
    splash.private_mode_enabled = false
    assert(splash:go{
        splash.args.url,
        headers=splash.args.headers,
    })
    assert(splash:wait(5))
    return {html=splash:html()}
end
"""

yield SplashRequest(url=self.url, callback=self.parse,
                    endpoint='render.html',
                    args={'lua_source': lua_script,
                          'wait': 5,
                          'private_mode_enabled': 'false',
                          },
                    headers={
                        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
                        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
                        'accept-language': 'en-US,en;q=0.9,fr;q=0.8',
                        #'accept-encoding': 'gzip, deflate, br',  # if used then file looks like shit
                        'referer': 'https://www.google.com/',
                        'upgrade-insecure-requests': 1,
                    },
                    )
...