Ошибка типа происходит, когда я пытался получить изображение из файла CSV в Python

Question

import os
from matplotlib import pyplot as pyplot
from collections import defaultdict
import csv
import numpy as np
path = r'C:\Users\AK6PRAKT\Desktop\6daten'
dirs = os.listdir(path) 
s = []
x = []
y = []
names = []
fig = pyplot.figure()
for i in dirs:                             
    if os.path.splitext(i)[1] == ".csv": 
        f = open(path+"/"+i)
        iter_f = iter(f);
        str = ""
        for line in iter_f: 
              str = str + line
        s.append(str) 
        with open(path+"/"+i,'r') as r:
            lines=r.readlines()
        with open(path+"/"+i,'w') as w:
            for row in lines:
                if 'Date' not in row:
                    w.write(row)
        columns = defaultdict(list)
        with open(path+"/"+i) as f:
            reader = csv.reader(f)
            for row in reader:
                for (i,v) in enumerate(row):
                    columns[i].append(v)
                    list_temp1 = columns[0]
                    list_temp1 = np.array(list_temp1)
                    list_temp2 = columns[2]
                    list_temp2 = np.array(list_temp2)
            print(list_temp1,list_temp2)
            y.append(float(list_temp2))                                                    
            names.append(list_temp1)
x = range(len(names))
pyplot.ylim((0, 40)) 
my_y_ticks = np.arange(0, 40, 10)
pyplot.plot(x,y, linewidth=2)
pyplot.xticks(x,names,rotation = 90)
fig = pyplot.figure(figsize=(10,10))
pyplot.show()

Этот код работает очень хорошо, если есть только несколько CSV-файлов.НО я хочу применить этот код на практике, мне нужно проанализировать более 200000 CSV-файлов и сделать графику, чтобы я мог видеть колебания этих данных, но когда я хочу импортировать эти великолепные файлы, возникает следующая ошибка:

File "C:/Users/AK6PRAKT/headerremover.py", line 44, in <module>

y.append(float(list_temp2))

TypeError: only size-1 arrays can be converted to Python scalars

Я действительно понятия не имею о том, что, если кто-то может мне помочь, большое спасибо !!!!!!

Answer 1

Этот код ошибки возникает в результате попытки приведения массива с плавающей точкой к числу с плавающей точкой, длина которого> 1:

Пример:

float(np.array([3,2,1]))
Traceback (most recent call last):

  File "<ipython-input-22-e396216bb2ea>", line 1, in <module>
    float(np.array([3,2,1]))

TypeError: only length-1 arrays can be converted to Python scalars

но:

float(np.array([3]))
: 3.0

Таким образом, эта ошибка возникает в вашей строке (44, чтобы процитировать сообщение об ошибке)

y.append(float(list_temp2))

в случае list_temp2 имеет более одной записи,Так что это не должно иметь никакого отношения к тому, сколько файлов вы обрабатываете.

Однако:

Как уже упоминал Георгий - допустим, ваш код немного сложнее, чемЗадача требует.
Вот несколько моих мыслей ...

1. Если вам нужен список всех csv -файлов в каталоге, вы смотрели на glob в python?-модуль?Он также способен искать в подкаталогах ...
2. Вы перебираете файл для чтения, снова для записи без строк, которые содержат "Date", а затем снова вы читаете его снова ...?Это слишком много, IIUC.Не могли бы вы просто использовать последний цикл и поместить туда свой list_temp-вещи в условном выражении, которое проверяет на "содержит 'Date'"?
3. Почему вы fig = pyplot.figure(figsize=(10,10)) прямо перед plt.show() в конце?Это должно привести к неиспользованной пустой цифре.
4. headerremover.py в сочетании с вашим циклом и if 'Date' not in row выглядит так, как если в ваших файлах много строк заголовка, также в середине, - это правда?Потому что, если у вас просто будет заголовок из n строк в верхней части каждого файла, снова будут гораздо более простые способы пропустить эти строки ...