В файле utf-8 отображаются двойные символы

Question

Сгенерированный файл utf-8 правильно отображается в терминале:

, но не в Firefox или gedit:

Похоже, что символы дублируются со странными?

Файл: http://maestric.com/shared/other/2004_10_14.txt

Есть идеи, что с ним не так?

Answer 1

Кажется, это UTF-16. Вы уверены, что ваш регион и терминал в UTF-8?

Вы пробовали " od " для файла или видели его в программе просмотра в шестнадцатеричном формате? Никогда не доверяйте своему терминалу, вы должны смотреть на байты, чтобы быть уверенным.

Например

# od -c -x 2004_10_14.txt  | head
0000000  \0   H  \0   e  \0   u  \0   r  \0   e  \0      \0   d  \0   e
        4800 6500 7500 7200 6500 2000 6400 6500
0000020  \0      \0   d  \0 303 251  \0   b  \0   u  \0   t  \0      \0
        2000 6400 c300 00a9 0062 0075 0074 0020