Я пытаюсь прочитать веб-страницу определенного тега, используя python3, но из-за неспособности обработать символ Юникода, он получает ошибку как UnicodeEncodeError: 'latin-1' codec can't encode character '\u201c' in position 145: ordinal not in range(256) Как использовать правильный синтаксис, чтобы я получил теги
вот мой MWE, который я пробовал до сих пор
import requests
page = requests.get("https://www.biblegateway.com/passage/?search=Genesis+35&version=NIV")
from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')
story = soup.find_all('p') # to extract story title including <h3> tags
periods = [pt.get_text() for pt in story] # extract only data from <h3> tags
print (periods)