Как сделать сопоставление активации классов в модели pytorch vgg16? - PullRequest
Новая
       130

Как сделать сопоставление активации классов в модели pytorch vgg16?

2 голосов
/ 21 июня 2020

Я написал предварительно обученную модель vgg16 для классификации изображений, и ее слои: 

VGG(
  (features): Sequential(
    (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (1): ReLU(inplace=True)
    (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (3): ReLU(inplace=True)
    (4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (6): ReLU(inplace=True)
    (7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (8): ReLU(inplace=True)
    (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU(inplace=True)
    (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (13): ReLU(inplace=True)
    (14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (15): ReLU(inplace=True)
    (16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (18): ReLU(inplace=True)
    (19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (20): ReLU(inplace=True)
    (21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (22): ReLU(inplace=True)
    (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (25): ReLU(inplace=True)
    (26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (27): ReLU(inplace=True)
    (28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (29): ReLU(inplace=True)
    (30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
  (classifier): Sequential(
    (0): Linear(in_features=25088, out_features=4096, bias=True)
    (1): ReLU(inplace=True)
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True)
    (4): ReLU(inplace=True)
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=1000, bias=True)
  )
)

После некоторого начального взлома теперь она работает нормально. Я хочу использовать эту модель для сопоставления активации классов (CAM) для визуализации выходных данных CNN. Я знаю, что для этого сначала нам нужно получить активации последнего сверточного слоя в vgg16, затем матрицу весов последнего полностью связанного слоя и, наконец, взять скалярное произведение двух.

Сначала я получил индекс класса для изображения запроса с использованием этого кода 

model.eval()
pred = model(img1.float())
class_idx = torch.argmax(pred).detach().numpy().tolist()
classes[class_idx]

Затем я извлек входные изображения последних активаций сверточного слоя, который имеет размер torch.Size([1, 512, 14, 14])

last_conv_feat = torch.nn.Sequential(*list(model.features)[:30])
pred_a = last_conv_feat(img1.float())
print(pred_a.shape)

После этого я извлек веса полностью связанных слоев классификатора vgg16, и он имеет форму torch.Size([1000, 4096])

model.classifier[6].weight.shape

Из этой матрицы весов я восстановил весовые параметры для соответствующего индекса класса 

w_idx = model.classifier[6].weight[class_idx] # torch.Size([4096])

Проблема заключается в форме сверточной матрицы активации и полностью совпадающем слое, один - [1, 512, 14, 14], а другой - [4096]. Как мне взять скалярное произведение этих двух матриц и получить результат CAM?

1 Ответ

1 голос
/ 21 июня 2020

Эта конкретная модель не подходит для указанного вами простого подхода. CAM, на который вы ссылаетесь, извлекается из моделей, которые имеют только один линейный слой в конце, которому предшествует глобальный средний уровень объединения, например, этот 

features = MyConvolutions(x)
pooled_features = AveragePool(features)
predictions = Linear(pooled_features)

Это обычно работает с архитектурами Re sNet или одной из их многочисленные производные. Следовательно, я бы рекомендовал, если нет особой c причины для использования VGG, вы должны использовать архитектуру Re sNet.

------- РЕДАКТИРОВАТЬ -------

Если вы хотите go с VGG, есть два варианта:

  1. Самый простой: отрезать три последних (линейных) слоя VGG, заменить их на AveragePooling и один Линейный слой и точная настройка для Imag eNet или любого другого набора данных, который вы используете.
  2. Приблизительно CAM, преобразовав последние три слоя VGG в сверточные слои (т.е. 4096x512x7x7 без заполнения, а затем 4096x4096x1x1 и 1000x4096x1x1), и переорганизовать параметры. Теперь у всего этого есть только сверточные слои, и вы можете работать с ним как с огромным сверточным фильтром. Единственная проблема: размер вывода по-прежнему составляет 1x1. Следовательно, вам нужно будет увеличить изображение (попробуйте, может быть, в 2 раза), а затем свернуть его с помощью недавно созданной полностью сверточной сети. Это дает вам приблизительное значение CAM.
...