У меня есть большой CSV-файл с одним столбцом, который мне нужно прочитать в каждой строке и преобразовать в число с плавающей точкой, а затем найти минимальное и максимальное и среднее значение для каждого куска данных. Данные имеют 16 десятичную точность.
Я пробовал обрабатывать панды как чанк, но я не панду и, похоже, не понимаю, как обрабатывается каждый определенный чанк (1000 строк на 1 столбец).
Как я могу преобразовать каждую строку в чанке в число с плавающей точкой [список], чтобы я мог найти минимальное, максимальное и среднее значение?
chunk_size = 1000 ** 1
for chunk in pd.read_csv(filename, chunksize=chunk_size):
mpg = []
for row in chunk:
mpg = [float(row[0]) for row in chunk]
print mpg
tmpMax = max(mpg)
print tmpMax