Есть ли возможность удалить пробел, добавленный при использовании iconv в linux - PullRequest
Новая
       47

Есть ли возможность удалить пробел, добавленный при использовании iconv в linux

0 голосов
/ 02 февраля 2020

Как часть требования, мы отправляем файл по назначению размером 40 ГБ +, и он содержит более 200 м записей, которые мы отправляем в виде файла одной строки, где длина каждой строки составляет от 1 до 4165 байт. В некоторых полях содержится utf8 в файле и Длина поля составляет 40 байт, когда я пытаюсь преобразовать его в ASCII, используя iconv, он добавляет пробел, из-за которого место назначения не может прочитать файл, так как столбец сдвинут на 1 байт, любое предложение должно действительно помочь. 

$ cat /tmp/1
Neue Grögerstraà 1                 
$  cat /tmp/1  | awk '{ print length($0); }'
36
$ cat /tmp/1  | iconv -f utf8 -t ascii//TRANSLIT |awk '{ print length($0); }'
37
$

Используемый параметр: 

fold -c4165 "$FILE" | sed 's/|//g' |iconv -f utf8 -t ascii//TRANSLIT |tr -d '\n'
...