Чтение сохраненного csv-списка поплавков обратно в список поплавков - PullRequest
Новая
       6

Чтение сохраненного csv-списка поплавков обратно в список поплавков

0 голосов
/ 07 июня 2018

Я сохранил список с плавающей точкой в ​​CSV-файле, и он выглядит таким образом (одна строка). 

"[6.61501123e-04 1.23390303e-04 1.59454121e-03 2.17852772e-02
  :
 3.02987776e-04 3.83064064e-03 6.90607396e-04 3.30468375e-03
 2.78064613e-02]"

Теперь при преобразовании чтения обратно в список я использую ast literal_evalподход: probs = [float(p) for p in ast.literal_eval(row['prob_array'])]

И я получаю эту ошибку: 

    probs = [float(p) for p in ast.literal_eval(row['prob_array'])]
  File "/Users/santino/anaconda/lib/python2.7/ast.py", line 49, in literal_eval
    node_or_string = parse(node_or_string, mode='eval')
  File "/Users/santino/anaconda/lib/python2.7/ast.py", line 37, in parse
    return compile(source, filename, mode, PyCF_ONLY_AST)
  File "<unknown>", line 1
    [6.61501123e-04 1.23390303e-04 1.59454121e-03 2.17852772e-02
                                 ^
SyntaxError: invalid syntax

Не уверен, как я могу дать команду ast читать синтаксис экспоненты, или я ошибаюсь, полагая, что это синтаксис экспоненты, которыйвызывает исключение.

Редактировать: я использовал csv.DictWriter для сохранения в файл CSV.Есть ли другой способ, которым я должен быть настойчивым?

Edit2: 

with open("./input_file.csv","w") as r:
    writer = csv.DictWriter(r,fieldnames=["item_id","item_name","prob_array"])
    writer.writeheader()
        res_list = ...
        for i,res in enumerate(res_list):
            row_dict = {}
            row_dict['item_id'] = id_list[i]
            row_dict['prob_array'] = res
            row_dict['item_name'] = item_list[i]
            writer.writerow(row_dict)

1 Ответ

0 голосов
/ 07 июня 2018

CSV хранит только строковые столбцы.Использование его для хранения строк, целых чисел, чисел с плавающей точкой и некоторых других базовых типов хорошо, если вы вручную конвертируете объекты: всякий раз, когда вы делаете str(i) в int, вы можете вернуть int с помощью int(s).

Но это не так для списка поплавков.Нет функции, которую вы можете использовать, чтобы вернуть результат str(lst) в произвольный список. 1 И это не так для… всего, что у вас есть, которое, скорее всего, является массивом или пандамиСерии… либо. 2

Если вы можете хранить каждое число с плавающей точкой как отдельный столбец, вместо того, чтобы хранить их список в одном столбце, это самый простой ответ.Но это может быть неуместно. 3

Итак, вам просто нужно выбрать какую-то другую функцию для использования вместо неявного str, который может бытьобратный с простым вызовом функции.Существуют форматы, предназначенные для сохранения данных в строки - JSON, XML, даже вложенный CSV - так что это первое, на что нужно обратить внимание.

Обычно JSON должен быть первым, на который вы обращаете внимание.Пока он может обрабатывать все ваши данные (и он определенно может здесь), он чрезвычайно прост в использовании, кто-то уже подумал, что он выбрасывает все надоедливые крайние случаи, и есть код для его анализа для каждой платформы во вселенной.

Итак, вы пишете значение следующим образом: 

row_dict['prob_array'] = json.dumps(res)

И затем вы можете прочитать его обратно так: 

prob_array = json.loads(row['prob_array'])

Если prob_array на самом деле является массивом numy илиСерии Pandas или что-то в этом роде, а не список, вам нужно либо преобразовать с помощью list, либо использовать методы Numpy или Pandas JSON вместо модуля stdlib.

Единственная реальная проблема заключается в том, что если вы хотитеCSV должен быть удобочитаемым / редактируемым, экранированные запятые и кавычки могут быть довольно уродливыми.

В этом случае вы можете определить более простой формат, который все еще легко писать и анализировать для ваших конкретных данных.и также более удобочитаемым, как просто разделенные пробелами числа: 

row_dict['prob_array'] = ' '.join(map(str, res))

prob_array = [float(val) for val in row['prob_array'].split()]

1.Иногда вы можете использовать ast.literal_eval, но полагаться на это никогда не будет хорошей идеей, и здесь это не работает.

2.Удобный для чтения формат, используемый numpy и Pandas, еще менее удобен для синтаксического анализа, чем формат, используемый списками Python.Вы могли бы переключиться на их repr вместо их str, но оно все равно не будет ast.literal_eval.

3.Для наглядного примера представьте таблицу с двумя различными списками произвольной длины ...

...