UnicodeEncodeError: кодек 'ascii' не может кодировать символы в позиции 30-31: порядковый номер не в диапазоне (128)

Question

Я сейчас изучаю веб-скребинг, это только для теста!Я понятия не имею, почему возникла эта ошибка. Вы посмотрите на код, что я сделал неправильно, и поможете мне решить проблемы?

from urllib.request import urlopen    
from bs4 import BeautifulSoup as bs    
from urllib.request import HTTPError    
import sys    
html = urlopen("https://www.expedia.co.kr/Hotel-Search?destination=서울&startDate=2019.06.06&endDate=2019.06.07&rooms=1&adults=2")    
soup = bs(html,"html.parser")    
section = soup.find_all(class_="cf flex-1up flex-listing flex-theme-light cols-nested")    
card = soup.find_all(class_="flex-card")    
infoprice = soup.find_all(class_="flex-content info-and-price MULTICITYVICINITY avgPerNight")    
rows = soup.find_all(class_="flex-area-primary")    
hotelinfo = soup.find_all('ul',class_="hotel-info")    
hotelTitles = soup.find_all('li',class_="hotelTitle")    
for hotelTitle in hotelTitles:        
    hotellist = hotelTitle.find('h4',class_="hotelName fakeLink")        
    h = hotellist.get.text().strip()        
    print(h)

Answer 1

Вы можете имитировать POST-запрос, который делает страница, и использовать запросы.Вы получите ответ json со всеми данными отеля. Смотрите пример ответа json здесь .

import requests   

headers = {'User-Agent' : 'Mozilla/5.0', 'Referer' : 'https://www.expedia.co.kr/Hotel-Search?destination=%EC%84%9C%E'}
r = requests.post("https://www.expedia.co.kr/Hotel-Search-Data?responsive=true&destination=%EC%84%9C%EC%9A%B8&startDate=2019.06.06&endDate=2019.06.07&rooms=1&adults=2&timezoneOffset=3600000&langid=1042&hsrIdentifier=HSR&?1555393986866", headers = headers, data = '').json()   
for hotel in r['searchResults']['retailHotelModels']:
    print(hotel['retailHotelInfoModel']['hotelName'])

Answer 2

Почему бы не использовать requests вместо:

import requests
html = requests.get("https://www.expedia.co.kr/Hotel-Search?destination=서울&startDate=2019.06.06&endDate=2019.06.07&rooms=1&adults=2")
soup = BeautifulSoup(html.content,'html.parser')

Я обнаружил, что это позволяет избежать возможных проблем с кодированием, а в вашем случае остальная часть кода остается прежней.