Python: Как заменить символы полной ширины на символы полуширины?

Question

Если бы это был PHP, я бы, наверное, сделал что-то вроде этого:

function no_more_half_widths($string){
  $foo = array('１','２','３','４','５','６','７','８','９','１０')
  $bar = array('1','2','3','4','5','6','7','8','9','10')
  return str_replace($foo, $bar, $string)
}

Я пробовал функцию .translate в python, и это указывает на то, что массивы не одного размера Я предполагаю, что это связано с тем, что отдельные символы закодированы в UTF-8. Какие-либо предложения?

Answer 1

Встроенный модуль unicodedata может сделать это:

>>> import unicodedata
>>> foo = u'１２３４５６７８９０'
>>> unicodedata.normalize('NFKC', foo)
u'1234567890'

«NFKC» означает « Форма нормализации KC [Декомпозиция совместимости с последующей канонической композицией]» и заменяет символы полной ширины на символы полуширины, которые Unicode эквивалентны 1008 *.

Обратите внимание, что он также одновременно нормализует все виды других вещей, например, отдельные знаки ударения и символы римских цифр.

Answer 2

В Python3 вы можете использовать следующий фрагмент. Он сделал карту между всеми символами ascii и соответствующими символами полной ширины. Лучше всего то, что вам не нужно жестко набирать последовательность ascii, которая весьма подвержена ошибкам.

 #! /usr/bin/env python3
 # -*- coding: utf-8 -*-     

 FULL2HALF = dict((i + 0xFEE0, i) for i in range(0x21, 0x7F))
 FULL2HALF[0x3000] = 0x20

 def halfen(s):
     '''
     Convert full-width characters to ASCII counterpart
     '''
     return str(s).translate(FULL2HALF)

Кроме того, с той же логикой вы можете преобразовывать символы половинной ширины в символы полной ширины, следующий код демонстрирует фокус:

 #! /usr/bin/env python3
 # -*- coding: utf-8 -*-

 HALF2FULL = dict((i, i + 0xFEE0) for i in range(0x21, 0x7F))
 HALF2FULL[0x20] = 0x3000

 def fullen(s):
     '''
     Convert all ASCII characters to the full-width counterpart.
     '''
     return str(s).translate(HALF2FULL)

Примечание: эти два фрагмента учитывают только символы ascii и не преобразуют ни одного японского / корейского символа полной ширины.

Для полноты из википедии :

Диапазон U+FF01–FF5E воспроизводит символы от ASCII 21 до 7E в виде формы полной ширины, то есть формы фиксированной ширины, используемые в CJK вычисления. Это полезно для набора латинских символов в CJK среда. U+FF00 не соответствует полной ширине ASCII 20 (пробел), так как эта роль уже выполнена U+3000 "идеографическое пространство".

Диапазон U+FF65–FFDC кодирует формы половинной ширины катакана и хангыль символы.

Диапазон U+FFE0–FFEE включает символы полной и половинной ширины.

И более, решение python2 может относиться к gist / jcayzac

Answer 3

Regex подход

>>> import re
>>> re.sub(u"[\uff10-\uff19]",lambda x:chr(ord(x.group(0))-0xfee0),u"４５６")
u'456'

Answer 4

Использование метода unicode.translate:

>>> table = dict(zip(map(ord,u'０１２３４５６７８９'),map(ord,u'0123456789')))
>>> print u'１２３'.translate(table)
123

Требуется сопоставление кодовых точек как чисел , а не символов. Кроме того, использование u'unicode literals' оставляет значения незакодированными.

Answer 5

Не думаю, что есть встроенная функция для выполнения нескольких замен за один проход, поэтому вам придется сделать это самостоятельно.

Один из способов сделать это:

>>> src = (u'１',u'２',u'３',u'４',u'５',u'６',u'７',u'８',u'９',u'１０')
>>> dst = ('1','2','3','4','5','6','7','8','9','0')
>>> string = u'a１２３'
>>> for i, j in zip(src, dst):
...     string = string.replace(i, j)
... 
>>> string
u'a123'

Или используя словарь:

>>> trans = {u'１': '1', u'２': '2', u'３': '3', u'４': '4', u'５': '5', u'６': '6', u'７': '7', u'８': '8', u'９': '9', u'０': '0'}
>>> string = u'a１２３'
>>> for i, j in trans.iteritems():
...     string = string.replace(i, j)
...     
>>> string
u'a123'

Или, наконец, с помощью регулярных выражений (и это может быть самым быстрым):

>>> import re
>>> trans = {u'１': '1', u'２': '2', u'３': '3', u'４': '4', u'５': '5', u'６': '6', u'７': '7', u'８': '8', u'９': '9', u'０': '0'}
>>> lookup = re.compile(u'|'.join(trans.keys()), re.UNICODE)
>>> string = u'a１２３'
>>> lookup.sub(lambda x: trans[x.group()], string)
u'a123'

Answer 6

В Python 3 самым чистым является использование str.translate и str.maketrans :

FULLWIDTH_TO_HALFWIDTH = str.maketrans('１２３４５６７８９０',
                                       '1234567890')
def fullwidth_to_halfwidth(s):
    return s.translate(FULLWIDTH_TO_HALFWIDTH)

В Python 2 str.maketrans вместо этого string.maketrans и не работает с символами Юникода, поэтому вам нужно создать словарь, как отмечает Джош Ли выше.