Я ищу формат файла, который можно использовать с python / pandas, который эффективно хранит данные и также имеет функцию быстрого ввода / вывода.
Исходя из RI, найдите эти атрибуты в формате rda который сохраняет данные в части размера эквивалентного CSV-файла.
Как уже предлагалось в этом вопросе в стеке, формат пера и паркета одинаково быстр. Однако эти форматы не сжимают данные, как формат rda. Файлы пера даже больше, чем их csv (по крайней мере, для меньших размеров менее 1 ГБ, которые я пробовал)
Если у кого-то есть опыт, я был бы признателен за некоторые предложения.