Преобразование строки кода Python в кодировке Unicode в ее реальный символ Unicode

Question

У меня есть набор данных, содержащий какой-то плохо проанализированный текст, который содержит много символов Юникода (например, 'a', '{', 'Ⅷ', '♞', ...), которые были неправильно преобразованы в Юникод.

Все обратные слэши экранированы, поэтому каждая экранированная последовательность Юникода интерпретировалась как \ рядом с u вместо одного символа, \u.

Более конкретно,У меня есть строки, которые выглядят так:

>>> '\\u00e9'
'\\u00e9'

И я хочу, чтобы они выглядели так:

>>> '\u00e9'
'é'

Как преобразовать первую строку во вторую?

Answer 1

Вот один из способов сделать это без импорта другого модуля.

input_string = '\\u00e9'
print(input_string.encode('latin-1').decode('unicode-escape'))
# output 
é 

Answer 2

Сначала вам нужно идентифицировать строку как шестнадцатеричную

classmethod fromhex (string) Этот метод байтового класса возвращает объект байтов, декодируя данный строковый объект.Строка должна содержать две шестнадцатеричные цифры на байт, а пробел ASCII игнорируется.https://docs.python.org/3/library/stdtypes.html#bytes.fromhex

Далее нам нужно преобразовать шестнадцатеричный код в Unicode

bytes.decode (encoding = "utf-8", errors = "strict") https://docs.python.org/3/library/stdtypes.html#bytes.decode

Так бы это выглядело примерно так

char = '\\u00e9'

print (bytes.fromhex(char)[3:-1].decode('latin-1'))