В общем случае размер входных данных изменяет размер конечной сетки и, следовательно, количество прогнозируемых блоков. В зависимости от используемой реализации это может изменить потери. Если, например, все значения потерь для одного параметра суммируются, большее количество полей будет означать более высокие потери. Если значения потерь усреднены по всем полям, вы, вероятно, можете сравнить их.
Возможно, вы захотите использовать какую-то другую форму оценки, помимо только потери. В зависимости от задачи посмотрите на тесты и метрики, которые они используют. Для обнаружения объекта IoU часто используется для присвоения предсказаний истинности земли и вычисления ее точности.