Реализация имиджевой пирамиды с помощью Keras

Question

Чтобы получить масштабную инвариантность (или обнаружить объекты в любом масштабе) в моей модели CNN, я хочу реализовать Image Pyramids .Как объясняется в статье, при создании пирамид изображений изображение подвергается многократному сглаживанию и подвыборке.

Я внедряю CNN в Керасе.Есть ли способ с Keras реализовать изображения пирамид?Я прочитал одну из публикаций SO , в которой говорится, что для достижения эффекта пирамиды нужно использовать AveragePooling2D .

Это даже правильно?Как слой AveragePooling2D может дать эффект пирамиды?

Answer 1

Одна архитектура CNN, которая достигает вашей цели, - это сеть U-Net, первоначально представленная этой бумагой.

Она использует последовательность сверточных и объединяющих слоев для создания пирамиды.Обратите внимание, что это не пирамида изображения входного изображения, но идея состоит в том, чтобы узнать, что полезно в разных масштабах, а не напрямую питать пирамиду.

Теперь подумайте о том, как работает AveragePooling2D.Вы выбираете патч исходного изображения, заменяете его средним и затем переходите к следующему патчу.Это именно то, что вы описываете при создании пирамиды изображений: сглаживание достигается усреднением, а замена патча одним пикселем является понижающей дискретизацией.