Как работать в режиме «float32» по умолчанию в python?

Question

Я работаю с сотнями больших .csv файлов размером около 500 ГБ.Становится трудно обрабатывать большую часть больших данных, поэтому я хочу сократить накладные расходы путем преобразования float64 в float32.Я сделал это явно с astype('float32'), но после арифметической операции он конвертируется обратно в float64.

data.dtypes -> dtype('float64')

data32 = data.astype('float32')
data32.dtypes -> dtype('float32')

#after a float operation
data_f = data32*1.01       #######-> I want to keep data type float32 after operation
data_f.dtypes -> dtype('float64')

Я хочу сохранить результат по умолчанию в 32-bit mode.Я нашел один похожий вопрос , но он был задан почти десять лет назад.Я надеюсь получить исправление для этого, чтобы я мог установить операцию 32bit глобально.

Answer 1

Используйте pandas, чтобы прочитать csv и указать тип каждого столбца; используйте панд, чтобы написать обратно CSV.
Вы также можете использовать numpy для (быстрых) арифметических операций и указать dtype float32, который недоступен в чистом python.