Выберите размер для выходного вектора с 1000 с метками

Question

Большинство примеров на Inte rnet относительно multi-label классификации изображений основаны только на few метках. Например, с 6 классами мы получаем:

model = models.Sequential()
model.add(layer=base)
model.add(layer=layers.Flatten())
model.add(layer=layers.Dense(units=256, activation="relu"))
model.add(layer=layers.Dense(units=6, activation="sigmoid"))

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
vgg16 (Model)                (None, 7, 7, 512)         14714688  
_________________________________________________________________
flatten_1 (Flatten)          (None, 25088)             0         
_________________________________________________________________
dense_1 (Dense)              (None, 256)               6422784   
_________________________________________________________________
dense_2 (Dense)              (None, 6)                 1542      
=================================================================
Total params: 21,139,014
Trainable params: 13,503,750
Non-trainable params: 7,635,264

Однако для наборов данных с significantly метками больше размер обучения parameters увеличивается, и в итоге процесс обучения завершается неудачно с ResourceExhaustedError ошибка. Например, с меткой 3047 мы получаем:

model = models.Sequential()
model.add(layer=base)
model.add(layer=layers.Flatten())
model.add(layer=layers.Dense(units=256, activation="relu"))
model.add(layer=layers.Dense(units=3047, activation="sigmoid"))

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
vgg16 (Model)                (None, 7, 7, 512)         14714688  
_________________________________________________________________
flatten_1 (Flatten)          (None, 25088)             0         
_________________________________________________________________
dense_1 (Dense)              (None, 256)               6422784   
_________________________________________________________________
dense_2 (Dense)              (None, 3047)              783079    
=================================================================
Total params: 21,920,551
Trainable params: 14,285,287
Non-trainable params: 7,635,264
_________________________________________________________________

Очевидно, что с моей сетью что-то не так, но я не уверен, как решить эту проблему ...

Answer 1

Ошибка исчерпания ресурса связана с проблемами памяти. Либо у вас недостаточно памяти в вашей системе, либо какая-то другая часть кода вызывает проблемы с памятью.