Я построил и обучил автоэнкодеру в Керасе, удалил часть декодера и добавил выравнивающий слой, чтобы получить вектор элементов.
Теперь я хочу обучить классификатор (например, SVM), но в качестве шага предварительной обработки мне нужно применить кодировщик, чтобы получить вектор признаков, который будет использоваться в классификаторе.
Проблемаесть, весь набор данных не умещается в памяти!Чтобы преодолеть это во время обучения автоэнкодеру, я создал генератор и использовал функцию fit_generator(..) функции Model.
Таким образом, я застрял в той же ситуации, чтобы обучить SVM.Я прочитал о Pipelines в sk-learn, но я не уверен, что это подойдет для моей ситуации, так как у меня есть пакетная ситуация.Я также читал о масштабирующих состояниях , рекомендованных на странице документации sk-learn, но опять же, частичное выполнение не является проблемой, реальная проблема - это шаг предварительной обработки, который также должен выполняться партиями.
Я хотел бы знать, какие стратегии я могу использовать в этой ситуации?