Если ваша модель полностью CNN, совершенно не обязательно иметь разные модели.
Модель CNN может делать снимки любого размера.Просто убедитесь, что input_shape=(None,None,channels)
Вам понадобятся отдельные массивы, хотя один для больших изображений, другой для маленьких изображений, и вам придется вызывать разные методы подбора для каждого.
(но, вероятно, вы все равно будете работать с генератором)