Я бы хотел кэшировать данные в torch.utils.data.Dataset
. Простое решение - просто сохранить определенные тензоры в элементе набора данных. Однако, поскольку класс torch.utils.data.DataLoader
порождает несколько процессов, кэш будет локальным только для каждого экземпляра и может привести к кешированию нескольких копий одного и того же тензора. Есть ли способ использовать многопроцессорную библиотеку Python для обмена данными между различными процессами загрузчика?