Самый эффективный для чтения / записи в пандах

Question

Когда я хочу вызвать функцию pandas.read.., какая программа чтения / записи с наибольшим энергопотреблением могла бы сэкономить больше всего памяти на моем компьютере?Я хочу прочитать большой файл данных и узнать, могу ли я выбрать формат заранее, чтобы сохранить данные с помощью другого инструмента, чтобы сэкономить некоторое потребление памяти в python.

Это: pd.read_csv, pd.read_hdf, ..?

Быстрый файл объясняется здесь: Самый быстрый формат файла для операций чтения / записи с Pandas и / или Numpy

это также самый эффективный способ памяти?

Answer 1

Почему бы вам не использовать библиотеку модинов.Он предназначен для ускорения большинства операций с фреймами данных.Вы можете найти больше информации здесь по этой ссылке https://github.com/modin-project/modin.