Я пытаюсь использовать python, чтобы превратить двоичные файлы в pandas Фреймы данных для упрощения поднабора и анализа данных. Мой пакет работает, но только для небольших файлов («маленький» означает ~ 500 МБ). Работоспособный пример последних битов кода показан ниже:
import pandas as pd
list_of_dicts = [{'a': 1, 'b': 2, 'c': 3},{'a': 1, 'b': 2, 'c': 3},{'a': 1, 'b': 2, 'c': 3}]
output = pd.DataFrame(list_of_dicts) # Memory error occurs here for large files
Я могу уменьшить размер DataFrame примерно на 40-50%, используя .astype('float32'), но мне нужно установить dtype до float32 до DataFrame создается, а не после, так как ошибка памяти возникает при создании DataFrame. Есть ли способ изменить dtype по умолчанию для pd.DataFrame (), чтобы использовать float32 вместо float64 и int64?