В настоящее время я работаю над созданием модели раскрашивания изображения. Я хочу использовать в нем слой слияния, представленный Иизуки и др., Но у меня есть некоторые проблемы с его реализацией в Pytorch.
Основная идея заключается в том, что мы извлекаем из изображения элементы среднего уровня и глобальные функции независимо, а затем объединяем их в соответствии с формулой
где u, v - число «пикселей», y_global - глобальный вектор объектов размера 64, y ^ mid_u_v - вектор объектов среднего уровня размера 64. Таким образом, мы конкатенируем
Выходная форма моего слоя среднего уровня (bs, 64, 28, 28), выходная форма моего экстрактора глобальных объектов - (bs, 64).
Я пытался рассчитать на пиксель, используя nn.Embedding (), но, похоже, он работает неправильно, предполагая, что bs не равен 1.
Как элегантно и эффективно реализовать эту технику в Pytorch?
Я пытался рассчитать на пиксель, используя nn.Embedding (), но, похоже, он плохо работает