Нейронные сети (насколько я видел) имеют фиксированную форму ввода, свобода разрешена только для размера пакета. Это (вероятно) подходит для каждой удивительной нейронной сети, которую вы когда-либо видели. Не бойтесь изменять изображение с готовой выборки до ожидаемого входного размера сети. Надежные сети компьютерного зрения обычно обучаются на дополненных данных; случайным образом масштабируется, искажается и иным образом преобразуется для того, чтобы, среди прочего, расширить способность сети справляться с этой неизбежной ситуацией масштабирования.
Есть предостережения, конечно. Входные данные для прогнозирования должны быть максимально похожи на набор данных, на котором они были обучены, насколько это возможно, то есть модель должна применяться к данным, для которых она была разработана. Например, рассмотрим сеть обнаружения объектов, созданную для спутниковых приложений. Если эта же сеть затем применяется к изображениям дронов, относительный размер объектов может быть значительно больше, чем объектов, для которых была разработана сеть (в частности, ее размеры якорных ящиков).
Tl; dr: Предполагая, что вы используете правильную сеть для работы, не бойтесь масштабировать ваши изображения / кадры, чтобы соответствовать входам сети.