python - проблемы с регулярным выражением и юникодом

Question

Привет, у меня проблема с питоном. Я пытаюсь объяснить мою проблему на примере.

У меня есть эта строка:

>>> string = 'ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿÀÁÂÃ'
>>> print string
ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿÀÁÂÃ

и я хочу, например, заменить символы, отличные от С, М, ï, на ""

я пробовал:

>>> rePat = re.compile('[^ÑÃï]',re.UNICODE)
>>> print rePat.sub("",string)
�Ñ�����������������������������ï�������������������Ã

Я получил это . Я думаю, это происходит потому, что символы этого типа в python представлены двумя позициями в векторе: например, \ xc3 \ x91 = Ñ Для этого, когда я делаю реголярное выражение, все \ xc3 не подставляются. Как я могу сделать этот тип саб ?????

Спасибо Franco

Answer 1

Вы должны убедиться, что ваши строки - это строки в юникоде, а не простые строки (простые строки похожи на байтовые массивы).

Пример:

>>> string = 'ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿÀÁÂÃ'
>>> type(string)
<type 'str'>

# do this instead:
# (note the u in front of the ', this marks the character sequence as a unicode literal)
>>> string = u'\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff\xc0\xc1\xc2\xc3'
# or:
>>> string = 'ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿÀÁÂÃ'.decode('utf-8')
# ... but be aware that the latter will only work if the terminal (or source file) has utf-8 encoding
# ... it is a best practice to use the \xNN form in unicode literals, as in the first example

>>> type(string)
<type 'unicode'>
>>> print string
ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿÀÁÂÃ

>>> rePat = re.compile(u'[^\xc3\x91\xc3\x83\xc3\xaf]',re.UNICODE)
>>> print rePat.sub("", string)
Ã

---

При чтении из файла string = open('filename.txt').read() читает последовательность байтов.

Чтобы получить содержимое в кодировке Unicode, выполните: string = unicode(open('filename.txt').read(), 'encoding'). Или: string = open('filename.txt').read().decode('encoding').

Модуль кодеков может декодировать потоки Unicode (например, файлы) на лету.

Выполните поиск в Google для Python Unicode . Поначалу обработка Unicode в Python может быть немного трудна для понимания, стоит почитать об этом.

Я придерживаюсь этого правила: «Программное обеспечение должно работать только со строками Unicode, преобразовывая их в определенную кодировку на выходе». (от http://www.amk.ca/python/howto/unicode)

Я также рекомендую: http://www.joelonsoftware.com/articles/Unicode.html