Можем ли мы использовать метрику точности модели Keras c для модели субтитров изображения?

Question

Пожалуйста, рассмотрите следующую строку кода.

model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=['accuracy'])

Мне разрешено использовать metrics=['accuracy'] для моей модели субтитров. Моя модель была определена следующим образом:

inputs1 = Input(shape=(2048,))
fe1 = Dropout(0.2)(inputs1)
fe1=BatchNormalization()(fe1)
fe2 = Dense(256, activation='relu')(fe1)
inputs2 = Input(shape=(max_length,))
se1 = Embedding(vocabsize, embedding_dim, mask_zero=True)(inputs2)
se2 = Dropout(0.2)(se1)
se2=BatchNormalization()(se2)
se3 = LSTM(256)(se2)
decoder1 = add([fe2, se3])
decoder2 = Dense(256, activation='relu')(decoder1)
outputs = Dense(vocabsize, activation='softmax')(decoder2)
model = Model(inputs=[inputs1, inputs2], outputs=outputs)

Обучение этой модели дает следующий результат:

1. Могу ли я использовать эту метрику точности c для оценки моей модели субтитров изображения?

2. Если да, то во встроенных вычислениях учитывается значение предсказанных титров семанти c ?

3. Если ответ на вопрос 1 - «да», то в чем польза от оценки BLEU и других показателей оценки?

4. Моя модель дает приличный подписи к данному новому изображению. Нужно ли иметь значение метри точности c больше 0,5?

Answer 1

, чтобы ответить на все вопросы, которые я должен сказать:

для языковых моделей, обычно используется оценка bleu (двуязычная оценка), поскольку она дает вам лучший обзор производительности вашей модели

Keras's cc metri c в порядке, но на самом деле он используется для категориальных моделей или моделей, которые имеют детерминированный вывод c, но языковые модели не такие, например («Я в порядке» и «Я в порядке» или «Я в порядке» имеет то же значение, но точность Keras имеет значение между ними). Предлагаю проверить реализацию Keras: https://github.com/keras-team/keras/blob/master/keras/metrics.py#L439