Pyppeteer. Браузер Chromium прекращает загрузку страниц по истечении заданного периода времени - PullRequest
Новая
       43

Pyppeteer. Браузер Chromium прекращает загрузку страниц по истечении заданного периода времени

1 голос
/ 31 марта 2020

Я пытаюсь написать программу с использованием Pyppeteer и asyncio, которая бы делала скриншоты с разных сайтов. Но каждый раз, когда я запускал программу примерно через 20 секунд, возникала ошибка (Ошибка выполнения: сессия закрыта. Скорее всего, страница была закрыта »). Позже я обнаружил, что это известная ошибка в pyppeteer, и нашел для нее патч github: 

def patch_pyppeteer():
    import pyppeteer.connection
    original_method = pyppeteer.connection.websockets.client.connect

    def new_method(*args, **kwargs):
        kwargs['ping_interval'] = None
        kwargs['ping_timeout'] = None
        return original_method(*args, **kwargs)

    pyppeteer.connection.websockets.client.connect = new_method
patch_pyppeteer()

Однако, несмотря на то, что ошибка перестала происходить, браузер продолжал терять соединение с inte rnet по прошествии того же периода времени, и функция page.goto (url) никогда не возвращала управление. Есть ли еще способ решить эту проблему?

Вот часть моего собственного кода: 

async def take_screenshot(page, domain, ip_addr, counter, browser):
    url = 'https://' + domain
    fname = 'Screenshots\\'+str(counter) + "_"+domain+'_'+ip_addr + '.png'
    try:
        await page.goto('https://'+domain)
        await page.screenshot({'path':fname})
    except Exception as e:
        print('Error while taking a screenshot')
        print(str(e))
        exit_program(browser)

async def main():
    counter = 0
    domains, black_list, output_file = await open_source_files(sys.argv)
    print('Launching browser')
    browser  = await launch(headless=False)
    page = await browser.newPage()
    while(True):

        domain = await read_domain(domains, browser)
        if (domain == -1):
            break
        print('Getting the amount of pages')
        amount = await get_pages(page, browser, domain)
        print('Reading IP addresses')
        ip_list = await get_ipaddr(domain, page, browser)
        await delete_domain_from_hosts(domain, browser)
        for ip in ip_list:
            print('Flushing DNS cache')
            flush_dns()
            print('Writing in hosts')
            lin = await write_in_hosts(ip, domain, browser)
            hosts_flag = ip
            print('Taking screenshot')
            await take_screenshot(page, domain, ip, counter, browser)
            print('Deleting from hosts')
            await delete_from_hosts(lin, browser)
            hosts_flag = None
            counter+=1
    await browser.close()
    domains.close()
    black_list.close()
    output_file.close()
    exit(0)

patch_pyppeteer()
asyncio.get_event_loop().run_until_complete(main())

1 Ответ

0 голосов
/ 30 апреля 2020

Это была известная проблема в pyppeteer в течение более 2 лет, и [PR, чтобы исправить это, простаивал] более полутора лет. К счастью, есть форк под именем pyppeteer2 (доступный на PyPi), который решает эту и другие проблемы.

Отказ от ответственности: я один из главных разработчиков.

...