Как я могу кодировать строку в python в utf8 - PullRequest
Новая
       30

Как я могу кодировать строку в python в utf8

0 голосов
/ 30 апреля 2020

Я столкнулся с проблемой кодировки. Я думаю, что это связано с тем, что я создаю строку, чтобы заставить мой l oop работать. 

from urllib import request
from bs4 import BeautifulSoup
import time
import pprint

f1 = open('urls2.txt','r',encoding="utf8")
ethnicity_urls = f1.readlines()
f1.close()

for each in ethnicity_urls:
    time.sleep(1.5)
    scraped = request.urlopen(each)
    soup = BeautifulSoup(scraped)
    soup1 = soup.select('p')
    for e in soup1:
        soup2 = str(soup1)
        soup2 = soup2.replace('\n','')
        soup2 = soup2.replace('<p>','')
        soup2 = soup2.replace('</p>','')
        print(soup2)
    resultFile = open('results2.csv','a')
    resultFile.write(pprint.pformat(soup2))
    resultFile.close()

Код ошибки, который я получаю:

UnicodeEncodeError: Код 'ascii' c не может кодировать символ '\ xa0' в позиции 45: порядковый номер не находится в диапазоне (128)

Как правильно кодировать soup2? Я пытался 

soup2 = soup2.encode('utf-8')

, который дал мне ошибку

TypeError: требуется объект, похожий на байты, а не 'str'

Do I Нужно сделать это с помощью кодировки URL?

Любая помощь приветствуется.

Редактировать: Полный возврат 

Traceback (most recent call last):

  File "<ipython-input-35-d2bad914e060>", line 3, in <module>
    scraped = request.urlopen(each)

  File "D:\Anaconda\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)

  File "D:\Anaconda\lib\urllib\request.py", line 525, in open
    response = self._open(req, data)

  File "D:\Anaconda\lib\urllib\request.py", line 543, in _open
    '_open', req)

  File "D:\Anaconda\lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)

  File "D:\Anaconda\lib\urllib\request.py", line 1347, in http_open
    return self.do_open(http.client.HTTPConnection, req)

  File "D:\Anaconda\lib\urllib\request.py", line 1319, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))

  File "D:\Anaconda\lib\http\client.py", line 1252, in request
    self._send_request(method, url, body, headers, encode_chunked)

  File "D:\Anaconda\lib\http\client.py", line 1263, in _send_request
    self.putrequest(method, url, **skips)

  File "D:\Anaconda\lib\http\client.py", line 1118, in putrequest
    self._output(self._encode_request(request))

  File "D:\Anaconda\lib\http\client.py", line 1198, in _encode_request
    return request.encode('ascii')

UnicodeEncodeError: 'ascii' codec can't encode character '\xa0' in position 45: ordinal not in range(128)

1 Ответ

0 голосов
/ 04 мая 2020

Спасибо всем за ваши замечания. После ручного просмотра всех входных данных я смог определить причину ошибки. При преобразовании моих данных некоторые пробелы не были признаны как таковые и, следовательно, не были заменены на% 20. Если вы столкнулись с той же проблемой, вы можете проверить входные файлы, если код работает для небольшого набора дважды проверенных входных данных.

...