Как вы используете функцию tenorflow ctc_batch_cost с керасом? - PullRequest
Новая
       110

Как вы используете функцию tenorflow ctc_batch_cost с керасом?

0 голосов
/ 21 марта 2020

Я уже несколько дней пытаюсь реализовать функцию потери ct c в керасе. К сожалению, мне еще предстоит найти простой способ сделать это, который хорошо сочетается с керасом. Я нашел функцию tenfflow tf.keras.backend.ctc_batch_cost, но документации по ней немного. Я запутался в нескольких вещах. Во-первых, каковы параметры input_length и label_length? Я пытаюсь создать модель распознавания рукописного ввода, и мои изображения имеют размер 32x128, у моего rnn есть 32 временных шага, и мой список символов имеет длину 80. Я попытался использовать 32 для обоих параметров, и это дает мне ошибку ниже. Разве функция не должна уже знать input_length и lebel_length из формы первых двух параметров (y_true и y_pred)? Во-вторых, нужно ли мне кодировать мои тренировочные данные? Все ли это сделано автоматически? Я знаю, что в tenorflow также есть функция tf.keras.backend.ctc_decode. Используется ли это только при прогнозировании? 

def ctc_cost(y_true, y_pred):
    return tf.keras.backend.ctc_batch_cost(
        y_true, y_pred, 32, 32)


model = tf.keras.Sequential([
    layers.Conv2D(32, 5, padding="SAME", input_shape=(32, 128, 1)),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.MaxPool2D(2, 2),
    layers.Conv2D(64, 5, padding="SAME"),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.MaxPool2D(2, 2),
    layers.Conv2D(128, 3, padding="SAME"),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.MaxPool2D((1, 2), (1, 2)),
    layers.Conv2D(128, 3, padding="SAME"),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.MaxPool2D((1, 2), (1, 2)),
    layers.Conv2D(256, 3, padding="SAME"),
    layers.BatchNormalization(),
    layers.Activation("relu"),
    layers.MaxPool2D((1, 2), (1, 2)),
    layers.Reshape((32, 256)),
    layers.Bidirectional(layers.LSTM(256, return_sequences=True)),
    layers.Bidirectional(layers.LSTM(256, return_sequences=True)),
    layers.Reshape((-1, 32, 512)),
    layers.Conv2D(80, 1, padding="SAME"),
    layers.Softmax(-1)
])

print(model.summary())

model.compile(tf.optimizers.RMSprop(0.001), ctc_cost)

Ошибка:

тензор потока. python .framework.errors_impl.InvalidArgumentError: squeeze_dims [0] не в [0,0). для 'loss / softmax_loss / Squeeze' (op: 'Squeeze') с формами ввода: []

Модель: 

Layer (type)                 Output Shape              Param #
=================================================================
conv2d (Conv2D)              (None, 32, 128, 32)       832
batch_normalization (BatchNo (None, 32, 128, 32)       128
activation (Activation)      (None, 32, 128, 32)       0
max_pooling2d (MaxPooling2D) (None, 16, 64, 32)        0
conv2d_1 (Conv2D)            (None, 16, 64, 64)        51264
batch_normalization_1 (Batch (None, 16, 64, 64)        256
activation_1 (Activation)    (None, 16, 64, 64)        0
max_pooling2d_1 (MaxPooling2 (None, 8, 32, 64)         0
conv2d_2 (Conv2D)            (None, 8, 32, 128)        73856
batch_normalization_2 (Batch (None, 8, 32, 128)        512
activation_2 (Activation)    (None, 8, 32, 128)        0
max_pooling2d_2 (MaxPooling2 (None, 8, 16, 128)        0
conv2d_3 (Conv2D)            (None, 8, 16, 128)        147584
batch_normalization_3 (Batch (None, 8, 16, 128)        512
activation_3 (Activation)    (None, 8, 16, 128)        0
max_pooling2d_3 (MaxPooling2 (None, 8, 8, 128)         0
conv2d_4 (Conv2D)            (None, 8, 8, 256)         295168
batch_normalization_4 (Batch (None, 8, 8, 256)         1024
activation_4 (Activation)    (None, 8, 8, 256)         0
max_pooling2d_4 (MaxPooling2 (None, 8, 4, 256)         0
reshape (Reshape)            (None, 32, 256)           0
bidirectional (Bidirectional (None, 32, 512)           1050624
bidirectional_1 (Bidirection (None, 32, 512)           1574912
reshape_1 (Reshape)          (None, None, 32, 512)     0
conv2d_5 (Conv2D)            (None, None, 32, 80)      41040     
softmax (Softmax)            (None, None, 32, 80)      0

Вот документация тензорного потока, на которую я ссылался:

https://www.tensorflow.org/api_docs/python/tf/keras/backend/ctc_batch_cost

...