Как использовать «DataLoader (dataset = Dataset (train_data, train_label))» в pytorch, пока я не ввел все «train_data»? - PullRequest
1 голос
/ 16 апреля 2019

Как я могу использовать виртуальную память в кодировании pytorch? У меня много входных данных, но я не могу ввести все данные в память один раз, тогда как я хочу перетасовать всю базу данных в DataLoader. Или есть ли другой способ ответить на этот вопрос?

У меня ошибка памяти, когда я пытался ввести в память все данные "train_data". Это слишком большой.

train_loader = DataLoader (набор данных = набор данных (train_data, train_label), batch_size = batch_size, shuffle = True)

Я ожидаю, что буду использовать все «train_data» напрямую, чтобы я мог использовать DataLoader для упрощения программы обучения, но я получил ошибку памяти.

...