Как рассчитать потери обучения на выбранных подвыборочных прогнозах

Question

Я обучаю многоцелевой модели трекинга на видео последовательности.Кадры видео извлекаются и аннотируются на 1fps.Чтобы использовать более плавную временную когерентность, я выделил промежуточные 24 кадра между каждыми 2 аннотированными кадрами.Теперь у меня есть все кадры, извлеченные в 25fps, но метки наземной правды доступны только с интервалом 25 первоначально аннотированных кадров.

Я хочу обучить модель глубокого обучения, предоставляя все гладкие25fps кадров во время прямого прохода, но во время backprops я хочу рассчитать и оптимизировать потери только для аннотированных 1fps кадров.

Любой намек на то, как мне поступить об этом?Особенно, когда мой mini-batch size меньше 25.

Answer 1

Одна полезная вещь, которую я делаю до сих пор, состоит в том, чтобы иметь метку -1 для аннотированных кадров и пропускать их при вычислении потерь.Это может быть неоптимальным, но работает, кто-нибудь с лучшей идеей?