Beautiful Soup находит элементы, которых нет в html

Question

Я использую библиотеку под названием twitterscraper , которая извлекает твиты с любого заданного URL-адреса. Я дал ему URL-адрес ответа на твит, и он успешно очистил твиты, отображаемые на странице. (кроме твита самого URL, но этот твит у меня уже будет). Проблема в том, что я не могу найти ни один из элементов, которые он извлек из ответа html в самом html во время отладки. Я также не могу найти содержание твита, когда ищу их. Твитов там просто нет.

Здесь он получает ответ:

response = requests.get(url, headers=HEADER, proxies={"http": proxy}, timeout=timeout)
### some code
html = response.text

Звонки от_ html: tweets = list(Tweet.from_html(html))

bs4 find_all вызывается, и твиты анализируются

def from_html(cls, html):
        soup = BeautifulSoup(html, "lxml") #no li element with js-stream-item class found when i looked through the html.
        tweets = soup.find_all('li', 'js-stream-item') #but it still finds the li elements with tweets in them?
        if tweets:
            for tweet in tweets:
                try:
                    yield cls.from_soup(tweet)
                except AttributeError:
                    pass  
                except TypeError:
                    pass  

Как это происходит?

Я скопировал значение переменной html в vscode во время отладки и просмотрел его. Ссылка на метод find_all для bs4: https://beautiful-soup-4.readthedocs.io/en/latest/#find -all . Ссылка на URL-адрес ответа - https://twitter.com/renderwonk/status/1290793272353239040

Функция, предоставленная для очистки URL-адреса (внесено одно изменение в первую строку, которая закомментирована. Вместо того, чтобы давать запрос, я передаю URL-адрес сам):

def query_single_page(query, lang, pos, retry=50, from_user=False, timeout=60, use_proxy=True):
    """
    Returns tweets from the given URL.

    :param query: The query parameter of the query url
    :param lang: The language parameter of the query url
    :param pos: The query url parameter that determines where to start looking
    :param retry: Number of retries if something goes wrong.
    :return: The list of tweets, the pos argument for getting the next page.
    """
    #url = get_query_url(query, lang, pos, from_user)
    url = query
    logger.info('Scraping tweets from {}'.format(url))

    try:
        if use_proxy:
            proxy = next(proxy_pool)
            logger.info('Using proxy {}'.format(proxy))
            response = requests.get(url, headers=HEADER, proxies={"http": proxy}, timeout=timeout)
        else:
            print('not using proxy')
            response = requests.get(url, headers=HEADER, timeout=timeout)
        if pos is None:  # html response
            html = response.text or ''
            json_resp = None
        else:
            html = ''
            try:
                json_resp = response.json()
                html = json_resp['items_html'] or ''
            except (ValueError, KeyError) as e:
                logger.exception('Failed to parse JSON while requesting "{}"'.format(url))

        tweets = list(Tweet.from_html(html))

        if not tweets:
            try:
                if json_resp:
                    pos = json_resp['min_position']
                    has_more_items = json_resp['has_more_items']
                    if not has_more_items:
                        logger.info("Twitter returned : 'has_more_items' ")
                        return [], None
                else:
                    pos = None
            except:
                pass
            if retry > 0:
                logger.info('Retrying... (Attempts left: {})'.format(retry))
                return query_single_page(query, lang, pos, retry - 1, from_user, use_proxy=use_proxy)
            else:
                return [], pos

        if json_resp:
            return tweets, urllib.parse.quote(json_resp['min_position'])
        if from_user:
            return tweets, tweets[-1].tweet_id
        return tweets, "TWEET-{}-{}".format(tweets[-1].tweet_id, tweets[0].tweet_id)

    except requests.exceptions.HTTPError as e:
        logger.exception('HTTPError {} while requesting "{}"'.format(
            e, url))
    except requests.exceptions.ConnectionError as e:
        logger.exception('ConnectionError {} while requesting "{}"'.format(
            e, url))
    except requests.exceptions.Timeout as e:
        logger.exception('TimeOut {} while requesting "{}"'.format(
            e, url))
    except json.decoder.JSONDecodeError as e:
        logger.exception('Failed to parse JSON "{}" while requesting "{}".'.format(
            e, url))

    if retry > 0:
        logger.info('Retrying... (Attempts left: {})'.format(retry))
        return query_single_page(query, lang, pos, retry - 1, use_proxy=use_proxy)

    logger.error('Giving up.')
    return [], None

Результат вызова find_all в методе from_html

The html from which bs4 found the above elements. i copied it while debugging: https://codeshare.io/ad8qNe (скопируйте в редактор и используйте перенос слов)

Это как-то связано с javascript?

Answer 1

Внимательно посмотрите на любой из HTTP-запросов GET:

response = requests.get(url, headers=HEADER, proxies={"http": proxy}, timeout=timeout)

, не так важно, используем ли мы прокси или нет. Что критично в этом случае, так это заголовки. Там написано headers=HEADER, так что же HEADER? Прокрутите до query.py:

HEADER = {'User-Agent': random.choice(HEADERS_LIST), 'X-Requested-With': 'XMLHttpRequest'}

В этом случае 'X-Requested-With': 'XMLHttpRequest' - это то, что здесь важно. Кажется, ответ все равно будет HTML, но контент, который вы искали, будет встроен в него.

РЕДАКТИРОВАТЬ - Вот как вы можете сделать это самостоятельно без twitterscraper (в основном он делает то же самое) :

def main():

    import requests
    from bs4 import BeautifulSoup

    url = "https://twitter.com/renderwonk/status/1290793272353239040"

    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
        "X-Requested-With": "XMLHttpRequest"
    }

    response = requests.get(url, headers=headers)
    response.raise_for_status()

    soup = BeautifulSoup(response.text, "html.parser")
    for li in soup.find_all("li", {"class": "js-stream-item"}):
        tweet_div = li.find("div", {"class": "tweet"})
        text = tweet_div.find("p", {"class": "tweet-text"}).get_text()
        print(f"{''.center(32, '-')}\n{text}\n{''.center(32, '-')}\n")

    return 0


if __name__ == "__main__":
    import sys
    sys.exit(main())