Ошибка памяти на read_csv в Python - PullRequest
0 голосов
/ 06 июня 2018

Я сталкиваюсь с предупреждением dtype в Python, когда пытаюсь прочитать CSV-файл.Я проверил похожие вопросы, предоставление значений для dtype не помогает, выдает то же предупреждение и ошибка памяти.Я работаю с набором данных производительности Fannie Mae, столбцы для смешанного типа имеют либо пустое значение, либо год в формате мм / гггг.Сначала я ставлю им str, затем возражаю, но не помогаю.Может быть, файл такой большой (443,15 МБ), и мой компьютер не может его обработать?У меня процессор Core 2 Duo на 2 ГГц с оперативной памятью 3 ГБ.

Вот фрагмент кода, который решает проблему

data=pd.read_csv(os.path.join(settings.DATA_DIR,f),header=None,names=HEADERS[prefix],sep='|',index_col=False,
                         dtype={"zero_balance_date": str, "last_paid_installment_date": object, "foreclosure_date": object})

Вот предупреждение:

DtypeWarning: столбцы (15,16) имеют смешанные типы.Укажите опцию dtype при импорте или установите low_memory = False.

Установка low_memory=False также не выполняет эту работу.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...