Возникли проблемы при чтении и записи символов Unicode / non-ascii в файл в python - PullRequest
1 голос
/ 01 апреля 2020

У меня есть структура каталогов, которая содержит много каталогов с не-ascii символами, в основном на санскрите. Я работаю над индексацией этих каталогов / файлов в сценарии, но не могу понять, как лучше всего обрабатывать эти экземпляры. Это мой процесс:

  • га sh все файлы, рекурсивно, записать путь, имя файла и ха sh каждого в файл .tsv.
  • go через этот файл, сортируя каждую строку по наличию дубликата га sh. в результате получается словарь с такой формой: {'path': columns[0], 'filename': columns[1], 'status': True}, где статус определяет, будет ли действие над файлом выполняться позже.
  • go через этот словарь, перемещать дубликаты из их исходного местоположения в смещение. root путь (например, ./duplicates, а не ./).
  • запись в файл для каждого перемещения команды, которая должна быть выполнена в обратном порядке (просто mv a b); это не важно, но я решил включить его.

Ниже приведены некоторые примеры данных и то, что я написал до сих пор:

Пример сгенерированного tsv (путь / имя) / га sh):

./Personal Research/Ramnad 9"14"10  DSC_0004.JPG    850cd9dcb0075febd4c0dcd549dd7860        
./Personal Research/Ramnad 9"14"10  DSC_0010.JPG    9db2219fc4c9423016fb9e295452f1ad        
./Personal Research/Ramnad 9"14"10  DSC_0006.JPG    ef7d13b88bbaabc029390bcef1319bb1            

На самом деле " - это Unicode:

Блок: Частная область использования
Unicode: U + F019
UTF-8: 0xEF 0x80 0x99
JavaScript: 0xF019

Код: запись выше в файл (fulltsv):

for root, dirs, files in os.walk(SRC_DIR, topdown=True):
        files[:] = [f for f in files if any(ext in f for ext in EXT_LIST) if not f.startswith('.')]
        for file in files:
            with open(os.path.join(root,file),'r') as f:
                with open(SAVE_DIR+re.sub(r'\W+', '', os.path.basename(root).lower())+'.tsv', 'a') as fout:
                    writer = csv.writer(fout, delimiter='\t', quotechar='\"', quoting=csv.QUOTE_MINIMAL)
                    checksums = []
                    with open(os.path.join(root, file), 'rb') as _file:
                        checksums.append([root, file, hashlib.md5(_file.read()).hexdigest()])
                        writer.writerows(checksums)

чтение из этого файла:

#       generate list of all tsv
for (dir, subs, files) in os.walk(ROOT):
    #   remove the new-root from the search
    subs = [s for s in subs if NROOT not in s]
    for f in files:
        fpath = os.path.join(dir,f)
        if ".tsv" in fpath:
            TSVLIST.append(fpath)

#       open/append all TSV content to a single new TSV
with open(FULL,'w') as wfd:
    for f in TSVLIST:
        with open(f,'r') as fd:
            wfd.write(fd.read())
            lines = sum(1 for line in f)

#   add all entries to a dictionary keyed to their hash
entrydict = {}

ec = 0
with open(FULL, 'r') as fulltsv:
    for line in fulltsv:
        columns = line.strip().split('\t')
        if not columns[2].startswith('.'):
            if columns[2] not in entrydict.keys():
                entrydict[str(columns[2])] = []

            entrydict[str(columns[2])].append({'path': columns[0], 'filename': columns[1], 'status': True})
            if len(entrydict[str(columns[2])]) > 1:
                ec += 1

ed = {k:v for k,v in entrydict.items() if len(v)>=2}

перемещение дубликатов:

 for e in f:
            if len(f)-mvcnt > 1:
                if e['status'] is True:
                    p = e['path']    #   path
                    n = e['filename']   #   name
                    n0,n0ext = os.path.splitext(n)
                    n1 = n

                    #   directory structure for new file
                    FROOT = p.replace(p.split('/')[0],NROOT,1)
n1 = n

                    rebk = 'mv {0}/{1} {2}/{3}'.format(FROOT,n,p,n)
                    shutil.move('{0}/{1}'.format(p,n),'{0}/{1}'.format(FROOT,n))
                    dupelist.write('{0} #{1}\n'.format(rebk,str(h)))
                    mvcnt += 1

Ошибки, которые я получаю:

Traceback (most recent call last):
  File "/usr/lib/python3.6/shutil.py", line 550, in move
    os.rename(src, real_dst)
FileNotFoundError: [Errno 2] No such file or directory: '"./Personal Research/Ramnad 9""14""10"/DSC_0003.NEF' -> './duplicateRoot/Personal Research/Ramnad 9""14""10"/DSC_0003.NEF'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "dCompare.py", line 164, in <module>
    shutil.move('{0}/{1}'.format(p,n),'{0}/{1}'.format(FROOT,n))
  File "/usr/lib/python3.6/shutil.py", line 564, in move
    copy_function(src, real_dst)
  File "/usr/lib/python3.6/shutil.py", line 263, in copy2
    copyfile(src, dst, follow_symlinks=follow_symlinks)
  File "/usr/lib/python3.6/shutil.py", line 120, in copyfile
    with open(src, 'rb') as fsrc:
FileNotFoundError: [Errno 2] No such file or directory: '"./Personal Research/Ramnad 9""14""10"/DSC_0003.NEF'

Очевидно, что это связано с тем, как я обрабатываю символы Юникода, но я никогда раньше не работал с этим и не уверен, в какой момент / как мне следует обрабатывать имена файлов. Работа на Ubuntu 10 в подсистеме windows для linux, python 3.

1 Ответ

0 голосов
/ 03 апреля 2020

Единственная проблема, которую я вижу, когда читаю по трассировке стека, состоит в том, что символы Юникода неправильны (их там нет), учитывая TSV образца OP:

FileNotFoundError: [Errno 2] No such file or directory: '"./Personal Research/Ramnad 9""14""10"/DSC_0003.NEF' -> './duplicateRoot/Personal Research/Ramnad 9""14""10"/DSC_0003.NEF'

В исходные и конечные пути, которых, как мне кажется, быть не должно, дополнительные и двойные двойные кавычки, похоже, что путь был разбит и снова соединен (или что-то в этом роде):

'"./Personal Research/Ramnad 9""14""10"/DSC_0003.NEF'

Я попытался воссоздать ошибку OP, но не смог. Но когда я работал над примером ниже, я первоначально получил FileNotFoundError (потому что мне не хватало папок назначения, следовательно, os.makedirs() в моем примере), но путь был правильно закодирован:

FileNotFoundError: [Errno 2] No such file or directory: 'foo/Personal Research/Ramnad 9\uf01914\uf01910/DSC_0006.JPG'

Все, что я могу предложить, это предположение, что кодировка испорчена либо в файле TSV, либо в entrydict. OP, вы проверяли этот файл или диктовку в интерпретаторе и проверяли, видите ли вы \uf019 в путях, где вы ожидаете? Может быть что-то вроде следующего, чтобы убедиться, что эти кодовые точки присутствуют:

>>> print(path.encode('unicode_escape'))
b'./Personal Research/Ramnad 9\\uf01914\\uf01910'
>>> # or, look for 61465
>>> [ord(char) for char in path]
[46, 47, 80, 101, 114, 115, 111, 110, 97, 108, 32, 82, 101, 
115, 101, 97, 114, 99, 104, 47, 82, 97, 109, 110, 97, 100, 
32, 57, 61465, 49, 52, 61465, 49, 48]

Вот моя попытка, это может помочь ...

Я создал образец файла TSV и соответствующую структуру каталогов :

>>> p='./Personal Research/Ramnad 9\uf01914\uf01910'
>>> os.makedirs(p)
>>> checksums=[[p, 'DSC_0006.JPG', 'hash']]
>>> with open('full.tsv', 'a') as fout:
    writer = csv.writer(fout, delimiter='\t', quotechar='\"', quoting=csv.QUOTE_MINIMAL)
    writer.writerows(checksums)

и коснулся файла в оболочке:

$ touch Personal\ Research/Ramnad\ 91410/DSC_0006.JPG

Проверено full.tsv, чтобы убедиться, что оно было правильно записано:

$cat full.tsv
./Personal Research/Ramnad 91410  DSC_0006.JPG    hash

Пустые блоки - это кодированная точка в кодировке utf-8, основанная на описании Unicode для ", включенного в OP.

Ran hexdump -C full.tsv для обеспечения кодирования utf-8 (ищите 2 набора ef 80 99):

00000010  72 63 68 2f 52 61 6d 6e  61 64 20 39 ef 80 99 31  |rch/Ramnad 9...1|
00000020  34 ef 80 99 31 30 09 44  53 43 5f 30 30 30 36 2e  |4...10.DSC_0006.|

Затем я запустил

>>> entrydict = {}

>>> ec = 0
>>> with open('full.tsv', 'r') as fulltsv:
    for line in fulltsv:
        columns = line.strip().split('\t')
        if not columns[2].startswith('.'):
            if columns[2] not in entrydict.keys():
                entrydict[str(columns[2])] = []

            entrydict[str(columns[2])].append({'path': columns[0], 'filename': columns[1], 'status': True})
            if len(entrydict[str(columns[2])]) > 1:
                ec += 1

>>> entrydict
{'hash': [{'path': './Personal Research/Ramnad 9\uf01914\uf01910', 'filename': 'DSC_0006.JPG', 'status': True}]}`

И наконец:

>>> e = entrydict['hash'][0]
>>> e
{'path': './Personal Research/Ramnad 9\uf01914\uf01910', 'filename': 'DSC_0006.JPG', 'status': True}
>>> NROOT='foo'
>>> if e['status'] is True:
    p = e['path']    #   path
    n = e['filename']   #   name
    n0,n0ext = os.path.splitext(n)
    n1 = n

    #   directory structure for new file
    FROOT = p.replace(p.split('/')[0],NROOT,1)


    rebk = 'mv {0}/{1} {2}/{3}'.format(FROOT,n,p,n)
    print(rebk)
    src='{0}/{1}'.format(p,n)
    dst='{0}/{1}'.format(FROOT,n)
    os.makedirs(FROOT)
    shutil.move(src,dst)

и все заработало. Облом.

...