Странный символ отображается правильно в блокноте, но в качестве контрольного символа в другом месте

Question

У меня есть список предприятий .csv. Файл содержит несколько странных символов. Например, в этом поле: Stocktonon-Tees, первый дефис между Stockton и on представляется символом со значением 6, а не дефисом со значением 45. Переполнение стека, вероятно, санирует это, так что вы не сможете его увидеть, поэтому вот пастбин:

http://pastebin.com/NuyyaQy9

Может кто-нибудь объяснить, почему это может быть? Это какая-то проблема с кодировкой, которую я пропустил? Или коррупция в наборе данных?

Answer 1

Да, это почти наверняка проблема с кодировкой.Файл состоит только из двоичных данных - это то, как вы интерпретируете эти двоичные данные, которые имеют значение.Похоже, что Блокнот догадывается о первоначально предназначенной кодировке, но что бы вы ни использовали, это не так.

К сожалению, вы ничего не сказали о том, какое программное обеспечение пытается прочитать файл или что его записалово-первых, но вы должны посмотреть на то, что думает о кодировке Notepad, и работать оттуда.

Если это ваш код, который выписал файл, и вам нужно решить,кодирование, я бы порекомендовал UTF-8 как хорошее универсальное, переносимое на платформу кодирование.