На этот вопрос сложно ответить в общем. Может быть, вы могли бы попробовать и посмотреть, как это влияет на эффективность обучения?
Основным преимуществом сверточных слоев является то, что они уменьшают количество обучаемых параметров. Возможно, вы могли бы взглянуть на архитектуру вашей модели и использовать несколько сверточных слоев с большим шагом, чтобы уменьшить количество параметров перед вашими плотными слоями? Это довольно распространенный подход.
Другой (часто более простой) альтернативой может быть масштабирование изображений для уменьшения размера на этапе предварительной обработки!