Соскоблите отформатированные строки с красивым супом - PullRequest
Новая
       39

Соскоблите отформатированные строки с красивым супом

1 голос
/ 25 апреля 2020

Я пытался очистить строки в формате yt с помощью BeautifulSoup, но всегда выдает ошибку. Вот мой код: 

import requests
import bs4
from bs4 import BeautifulSoup

r = requests.get('https://www.youtube.com/channel/UCPyMcv4yIDfETZXoJms1XFA')
soup = bs4.BeautifulSoup(r.text, "html.parser")
def onoroff():
    onoroff = soup.find('yt-formatted-string',{'id','subscriber-count'}).text
    return onoroff


print("Subscribers:  "+str(onoroff().strip()))

Это ошибка, которую я получаю 

AttributeError: 'NoneType' object has no attribute 'text'

Есть ли другой способ очистки строк в формате yt?

1 Ответ

0 голосов
/ 25 апреля 2020

Большая часть контента Youtube создается с помощью JavaScript, возможности, которой у BeautifulSoup нет, но вы можете получить удачу, удалив объекты json в исходном коде, но не напрямую элементы HTML, то есть: 

import requests, json, re

h = {
    'Host': 'www.youtube.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0',
    'Accept': '*/*',
    'Accept-Language': 'en-US,pt;q=0.7,en;q=0.3',
    'Referer': 'https://www.youtube.com/channel/UCPyMcv4yIDfETZXoJms1XFA',
}
u = "https://www.youtube.com/channel/UCPyMcv4yIDfETZXoJms1XFA"
html = requests.get(u, headers=h).text

# lets get the json object that contains all the info we need from the source code and convert it into a python dict that we can use later
matches = re.findall(r'window\["ytInitialData"\] = (.*\}\]\}\}\});', html, re.IGNORECASE | re.DOTALL)
if matches:
    j = json.loads(matches[0])
    # browse the json object and search the info you need : https://jsoneditoronline.org/#left=cloud.123ad9bb8bbe498c95f291c32962aad2
    # We are now ready to get the the number of subscribers (among other info):

    subscribers = j['header']['c4TabbedHeaderRenderer']['subscriberCountText']['runs'][0]["text"]
    print(subscribers)
    # 110 subscribers

Демо

...