Подача данных в нейронные сети файл за файлом - PullRequest
Новая
       62

Подача данных в нейронные сети файл за файлом

0 голосов
/ 31 октября 2019

В настоящее время для обучения моей нейронной сети мне нужно загрузить огромный набор данных, и он стоит почти доступной оперативной памяти на компьютере. Вот почему этап обучения (с использованием графического процессора) очень медленный. Псевдокод выглядит следующим образом: 

Loading and pre-processing dataset (300 files)
Training Neural Network

Итак, как мне не нужно загружать все сразу, и я буду загружаться во время обучения нейронной сети, например: 

For file in Dataset
    Loading and pre-processing file
    Training Neural Network

или 

Training Neural network
At some epoch:
    Loading and Pre-processing a file in the dataset
    Continue to train.

В Python есть несколько простых способов сделать это, но как это сделать в MATLAB?

...