BeautifulSoup не показывает все мета ключевые слова .. там только частичные ключевые слова

Question

Я пытался извлечь все мета ключевые слова со страницы YouTube. Но BuatifulSoup может извлечь только первые несколько ключевых слов вместо всех. Я написал следующий скрипт Python для этого:

import requests
from bs4 import BeautifulSoup

url = "https://www.youtube.com/watch?v=2lAe1cqCOXo"

response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

keywords = soup.find("meta", {"name": "keywords"})['content']
print(keywords)

И я получаю следующий вывод:

Rewind, Rewind 2019, youtube rewind 2019, #YouTubeRewind, MrBeast, PewDiePie, James Charles, Shane Dawson, CaseyNeistat, RiceGum, Simone Giertz, JennaMarbles...

Невозможно извлечь все ключевые слова. Как будто я go к источнику страницы YouTube, я вижу следующее:

Есть ли способ захватить целые списки ключевых слов ? Или это ограничение BeautifulSoup? Если это ограничение ..... есть ли альтернативное решение для захвата тегов?

Answer 1

Итак, я открыл отклик response.text в pprint, чтобы я мог получить более четкую визуализацию. Оттуда я искал "Lilly" и нашел два места, из которых можно извлечь ключевые слова. Очевидно, я выбрал нижний висящий фрукт. Но вы определенно могли бы go маршрут, который вы просили, просто потребовалось бы больше работы для того, что, по-видимому, дает тот же результат. ИМХО

В любом случае ниже приведен фрагмент кода, который должен решить вашу проблему. У вас почти это было, вам просто нужно было использовать «attrs» и извлечь из другой части ответа. Я надеюсь, что вы не были слишком обескуражены. Желаем удачи!

from bs4 import BeautifulSoup
import requests
import pprint as pp

url = "https://www.youtube.com/watch?v=2lAe1cqCOXo"

response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

for meta in soup.find_all(attrs={"property":"og:video:tag"}):
    print(meta["content"])

Ответ:

Rewind
Rewind 2019
youtube rewind 2019
#YouTubeRewind
MrBeast
PewDiePie
James Charles
Shane Dawson
CaseyNeistat
RiceGum
Simone Giertz
JennaMarbles
Lilly Singh
emma chamberlain
The Try Guys
Fortnite
Minecraft
Roblox
Marshmello
Garena Free Fire
GTA V
Lachlan
Anaysa
jeffreestar
Noah Schnapp
Jennelle Eliana
T-Series
Azzyland
LazarBeam
Dude Perfect
David Dobrik
KSI
NikkieTutorials
Kurzgesagt
Jelly
Ariana Grande
Billie Eilish
BLACKPINK
Year in Review