Вопрос преобразования (локализации) Python

Question

source = '\xe3\xc7\x9f'
destination = u'\u0645\u0627\u06ba'

Как мне добраться от источника до места назначения?

(источник и пункт назначения - это одни и те же 3 символа в одном и том же порядке, просто представленные по-разному)

Технически, источник находится на урду, а местом назначения являются кодовые точки Unicode для тех же 3 символов. Смотри: https://www.codeaurora.org/git/projects/froyo-gb-dsds-7227/repository/revisions/39141d7a9dbdd2e9acf006430a7e7557ffd1efce/entry/external/icu4c/data/mappings/ibm-5352_P100-1998.ucm

Если я это сделаю:

source.decode('cp1006')

Я получаю:

u'\ufed9\ufb84\x9f'

Это не то, что я ищу ...

Если я это сделаю:

source.decode('raw_unicode_escape')

Я получаю:

u'\xe3\xc7\x9f'

Что тоже не то, что я ищу ...

Как мне добраться из точки A (источник) в точку B (пункт назначения) в Python?

Answer 1

In [129]: source = '\xe3\xc7\x9f'
In [130]: source.decode('cp1256')
Out[130]: u'\u0645\u0627\u06ba'

In [131]: destination
Out[131]: u'\u0645\u0627\u06ba'

---

PS. Вопрос «Какой кодек превращает этот объект str в этот объект Unicode?» время от времени возникает на SO. Вот небольшой скрипт, который может помочь быстро ответить на эти вопросы (он просто пытается декодировать объект str с каждой возможной кодировкой):

guess_encoding.py:

import binascii
import zlib
import codecs
import pkgutil
import os
import encodings

def all_encodings():
    modnames=set([modname for importer, modname, ispkg in pkgutil.walk_packages(
        path=[os.path.dirname(encodings.__file__)], prefix='')])
    aliases=set(encodings.aliases.aliases.values())
    return modnames.union(aliases)        

def main():
    encodings=all_encodings()
    while 1:
        text=raw_input()
        text=codecs.escape_decode(text)[0]
        # print('Attempting to decode {0!r}'.format(text))
        for enc in encodings:
            try:
                msg=text.decode(enc)
            except (IOError,UnicodeDecodeError,LookupError,
                    TypeError,ValueError,binascii.Error,zlib.error) as err:
                pass
                # print('{e} failed: {err}'.format(e=enc,err=err))
            else:
                if msg:
                    print('Decoding with {enc}:'.format(enc=enc))
                    print(msg)

if __name__=='__main__':
    main()

После запуска guess_encoding.py вы набираете repr объекта str:

% guess_encoding.py
\xe3\xc7\x9f

Он выплевывает связанный объект Unicode относительно каждой возможной кодировки Python.

Поскольку вы сказали нам, что желаемый объект Unicode был

In [128]: print(destination)
ماں

вы можете быстро найти выход для ماں и найдите успешный кодек:

Decoding with cp1256:
ماں