В настоящее время я работаю над проблемой предсказания последовательности в Keras, где данные, над которыми я работаю, имеют несколько миллионов строк и хранятся в формате csv. После проектирования функций и других преобразований набор данных становится слишком большим, чтобы поместиться в моей оперативной памяти. Я пытаюсь найти что-то похожее на метод flow_from_dataframe из ImageDataGenerator, который позволил бы мне выбирать фрагменты данных, сгруппированные по идентификаторам, применять к ним предварительную обработку, а затем передавать в функцию fit_generator. Может ли кто-нибудь помочь мне найти лучший способ go об этом?