У меня есть сценарий python, в котором я читаю большой файл .csv, используя DictReader пакета csv как таковой:
def read_input_file(input_file):
print('reading', input_file)
with open(input_file, 'r') as csvfile:
reader = csv.DictReader(csvfile)
records = {}
for row in reader:
record_id = row['id']
if record_id in records:
records[record_id].append(row)
else:
records[record_id] = [row]
return records
Чтение данных работает нормально, пока я не добавлю следующий импорт: from sklearn.cluster import MeanShift. Когда этот импорт включен в сценарий, функция чтения csv завершается ошибкой с ошибкой MemoryError, хотя я не использую какой-либо sklearn или даже объект или функции numpy внутри считывающего logi c. Есть идеи, почему это происходит?