Есть ли такая опция, как генератор в керасе с scikit для обработки больших записей данных?

Question

У меня есть тренировочный набор данных формы (90000,50), и я пытаюсь вписать его в модель (регрессия гауссовского процесса). Это ошибки с ошибкой памяти. Я понимаю вычисления, но есть ли способ передавать данные в пакетах с помощью Scikit? Я использую scikit реализацию алгоритма GPR.

Answer 1

Реализация процесса Гаусса (регрессия / классификация) из Scikit не способна обрабатывать большой набор данных. Он может работать только до 15000 строк данных. Поэтому я решил использовать другой алгоритм вместо этого, так как это похоже на проблему с алгоритмом.

Answer 2

Keras имеет генератор, потому что вы можете создавать контрольные точки и возобновить с того места, где остановились в нейронных сетях.Однако не все обучаемые алгоритмы обладают этим свойством.Взгляните на инкрементное обучение из документов Scikit-API.