Набор данных Pytorch и общая память? - PullRequest
1 голос
/ 05 марта 2020

Я бы хотел кэшировать данные в torch.utils.data.Dataset. Простое решение - просто сохранить определенные тензоры в элементе набора данных. Однако, поскольку класс torch.utils.data.DataLoader порождает несколько процессов, кэш будет локальным только для каждого экземпляра и может привести к кешированию нескольких копий одного и того же тензора. Есть ли способ использовать многопроцессорную библиотеку Python для обмена данными между различными процессами загрузчика?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...