Могу ли я разделить свои тренировочные данные и обучать каждую часть вместо того, чтобы вводить все данные сразу?

Question

У меня большой набор данных изображений 8k. Я хочу обучить этим данным на своем ПК, но есть проблема с памятью. Так что я подумал, что, возможно, я смогу разделить свои данные на 4 части, каждая из которых содержит 2K изображений, и обучить каждую часть один на той же модели. Возможно ли это?

Answer 1

Вы можете использовать генераторы для подачи данных в вашу модель в разделах , не заполняя вашу память.

Вам следует взглянуть на это учебник , где они объясняют проблему и учат вас, как это сделать в Keras (если вы используете эту среду)