Я создал csv-файл пар ключ-значение, содержащий кривые, которые могут использоваться в модели, которую я строю. Здесь используется следующая структура:
Curve Name | Time Step | Value
--------------------------------------------
RPI | 0 | 1
RPI | 1 | 1.012
RPI | 2 | 1.019
RPI | . | .
RPI | . | .
RPI | . | .
RPI | 720 | 1.341
LIBOR | 0 | 1
LIBOR | 1 | 1.012
LIBOR | 2 | 1.019
LIBOR | . | .
LIBOR | . | .
LIBOR | . | .
LIBOR | 720 | 1.341
. | . | .
. | . | .
. | . | .
Должно быть легко увидеть, как эта таблица может иметь огромное количество строк. Поскольку мои кривые определены в 721 момент времени, у меня будет 721 000 строк. данных в моем CSV, если он содержит 1000 кривых.
Более того, может быть только небольшое количество кривых в этом CSV, которые мне нужно использовать в моей модели. В этом случае есть ли способ прочитать часть этого CSV-файла в массив или фрейм данных без чтения всего содержимого (путем фильтрации по полю «Имя кривой») в массив?
Я спрашиваю потому что я предполагаю, что по мере того, как этот файл становится очень большим, его чтение в память станет дорогостоящим. Поправьте меня, если я так ошибаюсь.