Как выполнить QWebEngine в функции Python - PullRequest
Новая
       53

Как выполнить QWebEngine в функции Python

1 голос
/ 17 июня 2019

У меня есть класс QWebEngine для чтения веб-страниц и создания для них BeautifulSoup.

Вот код: 

import sys
from bs4 import BeautifulSoup
import os


from PyQt5 import QtCore, QtWidgets, QtWebEngineWidgets


class WebPage(QtWebEngineWidgets.QWebEnginePage):
    def __init__(self):
        super(WebPage, self).__init__()
        self.loadFinished.connect(self.handleLoadFinished)
        self.soup = []

    def start(self, urls):
        self._urls = iter(urls)
        self.fetchNext()

    def fetchNext(self):
        try:
            url = next(self._urls)
        except StopIteration:
            return False
        else:
            self.load(QtCore.QUrl(url))
        return True

    def processCurrentPage(self, html):
        url = self.url().toString()
        self.soup.append(BeautifulSoup(html, 'lxml'))
        if not self.fetchNext():
            QtWidgets.qApp.quit()

    def handleLoadFinished(self):
        self.toHtml(self.processCurrentPage)

Вот еще одна функция для вызова WebPage class: 

def get_soup(urls):
    app = QtWidgets.QApplication(sys.argv)
    webpage = WebPage()
    webpage.start(urls)
    return webpage.soup

Вот это main: 

if __name__ == "__main__":

    urls = ["http://www.hkexnews.hk/sdw/search/mutualmarket_c.aspx?t=sh", "http://www.hkexnews.hk/sdw/search/mutualmarket_c.aspx?t=sz"]      
    soups = get_soup(urls)

Однако программа перезапускается, когда я выполняю программу.

Что следует изменить?

1 Ответ

2 голосов
/ 17 июня 2019

Это проблема, которая у меня уже была, и, проанализировав, я обнаружил, что QApplication уничтожается до того, как QWebEnginePage вызывает удаление QWebEngineProfile, и в этом случае вызывает сбой QWebEnginePage.Решение состоит в том, чтобы сделать приложение более широким, сделав его глобальной переменной.

С другой стороны, вам нужно вызвать exec_ (), чтобы Eventloop, который позволяет работать с сигналами 

# ...
app = None

def get_soup(urls):
    global app
    app = QtWidgets.QApplication(sys.argv)
    webpage = WebPage()
    webpage.start(urls)
    app.exec_()
    return webpage.soup
# ...

Примечание: Похоже, что QTBUG-75547 , связанный с этой проблемой, был решен для Qt5> = 5.12.4, поэтому, вероятно, в следующем выпуске PyQtWebEngine эта ошибка больше не будет наблюдаться.

...