Как протестировать нейронную сеть на всем тестовом наборе, используя объект набора данных mxnet?

Question

Я тренировал 3D-коннет, используя mxnet. Я сохранил сетевую архитектуру и параметры, чтобы протестировать больше данных для проверки ее производительности. Поскольку я не тренируюсь, я не хочу получать наборы данных. Как заставить сеть считывать весь набор данных в качестве входных данных? Просто передавая сеть, объект набора данных напрямую является только 4D-тензором, тогда как сеть хочет 5D. Прямо сейчас я использую загрузчик данных, но устанавливаю размер пакета в качестве всего набора данных, и я чувствую, что есть более эффективный способ сделать это.

Answer 1

DataLoader требует либо batch_size, либо BatchSampler . Теоретически, вы могли бы написать BatchSampler, который извлекает весь набор данных как один пакет, хотя я не думаю, что вы увидите значительный выигрыш в производительности, если размер пакета будет значительно большим. Кроме того, использование пакетов полезно, если у вас более одного работника. Рассматривали ли вы возможность использования num_workers> 0, чтобы использовать преимущества параллельной обработки?