Python: ошибка при попытке очистить YouTube

Question

при попытке очистить домашнюю страницу youtube для заголовков каждого видео, где я запускаю этот код

import request
from bs4 import BeautifulSoup

url = 'https://www.youtube.com'
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")
print(soup('a'))

и возвращает эту ошибку

Traceback (most recent call last):
File "C:\Users\kenda\OneDrive\Desktop\Projects\youtube.py", line 7, in < 
<module>
print(soup('a'))
File "C:\Users\kenda\AppData\Local\Programs\Python\Python36- 
32\lib\encodings\cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\U0001f384' in 
position 45442: character maps to <undefined>
[Finished in 4.83s]

как мне это исправить?и почему он делает это специально, когда я чищу YouTube

Answer 1

Urllib намного лучше и удобнее в использовании.

from urllib.request import urlopen

from bs4 import BeautifulSoup

Функция urlopen преобразует URL в html

url = 'https://www.youtube.com'
html = urlopen(url)

Beautifulsoup будет переходить на HTML

soup = BeautifulSoup(html, 'html.parser')
print(soup.find_all('a'))

Если вы абсолютно хотите сделать это с запросами, решение:

import requests
from bs4 import BeautifulSoup
url = 'https://www.youtube.com'
resp = requests.get(url)
html = resp.text
soup = BeautifulSoup(html, 'html.parser')
print(soup.find_all('a'))