DeepFix - свертка с учетом местоположения

Question

• 1000 По сути, это 16 двумерных гауссиан, добавленных к 512 фильтрам сверточного слоя (см. Рисунок 5 из статьи). Изображение свертки со смещением местоположения .

Я хочу реализовать это в PyTorch, но понятия не имею, как добавить фиксированные фильтры в сверточный блок. Отягощения следует тренировать, как описано в статье.

Может ли кто-нибудь намекнуть, что делать или делал это раньше?

Answer 1

Судя по тому, как это выглядит на приведенном вами рисунке, они добавляют априорные значения местоположения к данным, т.е.

location_priors = generate_gaussians(positions, variances, data.size())
data_w_loc_priors = T.cat((data, location_priors), dim=1)

Теперь количество in_channels для вашей свертки необходимо соответствующим образом скорректировать: раньше у вас было 512 in_channels, теперь у вас 512 + количество априорных мест.