Как преобразовать XML-файл в формате, отличном от UTF-8, в XML, совместимый с UTF-8

Question

У меня огромный XML-файл, пример данных которого выглядит следующим образом:

 <vendor name="aglaia"><br>
              <vendorOUI oui="000B91" description="Aglaia Gesellschaft für Bildverarbeitung ud Kommunikation m" /><br>
         </vendor><br>
         <vendor name="ag"><br>
              <vendorOUI oui="0024A9" description="Ag Leader Technology" /><br>
         </vendor><br>

как можно видеть, есть текст "Gesellschaft für Bildverarbeitung", который не совместим с UTF-8, потому что я получаю ошибки от валидатора xml, такие ошибки:

Import failed:
com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.

Таким образом, вопрос заключается в том, как позаботиться об этом в среде Linux, чтобы преобразовать файл XML в формат, совместимый с UTF-8? или в bash есть способ, при котором, во-первых, создавая xml, я могу гарантировать, что все переменные / строки хранятся в формате, совместимом с UTF-8?

Answer 1

Используйте инструмент преобразования набора символов:

iconv -f ISO-8859-1 -t UTF-8 filename.txt

См. gnu-page

... и в файле http://standards.ieee.org/develop/regauth/oui/oui.txt "aglia"(как в вашем примере выше) сообщается как:

00-0B-91   (hex)            Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
000B91     (base 16)        Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
                            Tiniusstr. 12-15
                            Berlin  D-13089
                            GERMANY

кажется, что "ü" - это символ, который получает имя.

Обновление

При загрузке «oui.txt» с помощью wget я вижу символ «ü» в файле.Если у вас нет, что-то сломано в вашей загрузке.рассмотрите возможность использования одного из них:

• wget --header='Accept-Charset: utf-8'
• попробуйте использовать curl -o oui.txt вместо

Если ничего из вышеперечисленного не работает, просто откройте ссылкув вашем любимом браузере и сделайте «сохранить как».В этом случае прокомментируйте строку wget в приведенном ниже сценарии.

Я успешно выполнил следующий сценарий (обновите BEGIN & END, чтобы получить действительный XML-файл)

#!/bin/bash

wget http://standards.ieee.org/develop/regauth/oui/oui.txt
iconv -f iso-8859-15 -t utf-8 oui.txt > converted

awk 'BEGIN {
         print "HTML-header"
     }

     /base 16/ {
         printf("<vendor name=\"%s\">\n", $4)
         read
         desc = substr($0, index($0, $4))
         printf("<vendorOUI oui=\"%s\" description=\"%s\"/>\n", $1, desc)
     }
     END {
         print "HTML-footer"
    }
    ' converted

Надеюсь, это поможет!