Python и анализ файлов Unicode

Question

Несколько недель назад я написал анализатор CSV на python, и он отлично работал с предоставленным текстовым файлом.Но когда мы попытались протестировать другие файлы, начались проблемы.

Сначала было

ValueError: пустая строка для float ()

длястрока типа "313.44".Проблема заключалась в том, что в Юникоде было несколько пустых байтов между числами '\ x0'.

Хорошо, я декодировал, чтобы прочитать его как Юникод с

codecs.open (имя файла,'r', 'utf-16')

А затем ад открылся, пропала спецификация, проблемы с символами конца строки (LF против CR + LF) и т. д.

ИтакМожете ли вы предоставить мне или дать подсказку для обхода проблемы с анализом файлов Unicode и Non-Unicode, если я не знаю, что такое кодировка, присутствует спецификация, какой конец строки и т. д.

PS Я использую Python2,7

Answer 1

Проблема была решена с использованием модуля csv, предложенного Daenyth

Answer 2

Это в основном зависит от версии Python, которую вы используете, но эти две ссылки shopuld помогут вам:

• http://docs.python.org/howto/unicode.html
• Чтение символов из файла в Python