В настоящее время я пытаюсь разработать оптимизацию ввода / вывода для платформ DL, и для этой цели я хотел бы понять, как именно ведет себя Tensorflow, когда набор данных не помещается в памяти. Точнее, я хочу найти ответ на следующие вопросы:
- Сохраняет ли Tensorflow часть набора данных в памяти? Если да, изменяется ли эта часть во время обучения (т. Е. Сэмплы, хранящиеся в памяти, всегда одинаковы)?
- Как Tensorflow решает, какие сэмплы извлекаются из хранилища?
- Сколько данных Tensorflow извлекает сразу?
- Когда Tensorflow извлекает больше данных?
- Как процесс перетасовки влияет на выборку данных из хранилища? (Сэмплы, помещенные в буфер перемешивания, уже находятся в памяти или должны быть извлечены из хранилища?)
- Как предварительная выборка данных влияет на выборку данных из хранилища?
Я уже читал о методах перемешивания и предварительной выборки Tensorflow, однако не нашел нужной мне информации об операциях ввода-вывода, которые включают эти методы. Поэтому, может ли кто-нибудь сказать мне, где я могу найти подробное объяснение методов ввода-вывода Tensorflow и методов предварительной выборки и перетасовки? Или какой код отвечает за это?
Спасибо!