Я обучаю нейронную сеть, используя чрезвычайно большой набор данных примеров, которые не могут быть полностью загружены в ОЗУ одновременно.Чтобы тренироваться, я читаю каждый пример из списка сериализованных файлов, которые составляют набор данных.Кэширование диска Windows загружает каждый пример в оперативную память при первом прочтении.Обычно это ускоряет последующее чтение того же файла, потому что ОЗУ быстрее диска, но поскольку мой набор данных настолько велик, к тому времени, когда я возвращаюсь к нему, файл удаляется из ОЗУ, поэтому никакой дополнительной выгоды нет.
Я бы хотел максимально предотвратить накопление ОЗУ, поскольку оно замедляет все остальные процессы на машине.В настоящее время лучшим решением, которое я могу придумать, является отключение кэширования диска для файлов, которые я читаю.Возможно ли это в Windows и Java?Я также открыт для альтернативных решений;все, что позволяет мне перебирать примеры наборов данных без наращивания ОЗУ.
ОБНОВЛЕНИЕ: проблема, которую я пытался решить, не была вызвана наращиванием ОЗУ из Disk Caching.Вместо этого мои медленные скорости чтения были результатом плохой структуризации файлов с моей стороны.Прочитайте последний комментарий в OP для более подробной информации.