Ошибка Keras ValueError: Ошибка при проверке цели: ожидается, что плотность_3 должна иметь 3 измерения, но получен массив с формой (301390, 8)

Question

У меня есть 8 классов, которые я хочу предсказать из входного текста.Вот мой код для предварительной обработки данных:

num_max = 1000
tok = Tokenizer(num_words=num_max)
tok.fit_on_texts(x_train)
mat_texts = tok.texts_to_matrix(x_train,mode='count')
num_max = 1000
tok = Tokenizer(num_words=num_max)
tok.fit_on_texts(x_train)
max_len = 100
cnn_texts_seq = tok.texts_to_sequences(x_train)
print(cnn_texts_seq[0])

[12, 4, 303]

# padding the sequences
cnn_texts_mat = sequence.pad_sequences(cnn_texts_seq,maxlen=max_len)
print(cnn_texts_mat[0])
print(cnn_texts_mat.shape)

[  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
   0   0   0   0   0   0   0  12   4 303]

(301390, 100)

Ниже приведена структура моей модели, которая содержит слой внедрения:

max_features = 20000
max_features = cnn_texts_mat.shape[1]
maxlen = 100
embedding_size = 128


model = Sequential()
model.add(Embedding(max_features, embedding_size, input_length=maxlen))
model.add(Dropout(0.2))

model.add(Dense(5000, activation='relu'))
model.add(Dropout(0.1))
model.add(Dense(600, activation='relu'))
model.add(Dropout(0.1))
model.add(Dense(units=y_train.shape[1], activation='softmax'))

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy',
              optimizer=sgd)

Ниже приведена сводка модели:

model.summary()
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_5 (Embedding)      (None, 100, 128)          12800     
_________________________________________________________________
dropout_13 (Dropout)         (None, 100, 128)          0         
_________________________________________________________________
dense_13 (Dense)             (None, 100, 5000)         645000    
_________________________________________________________________
dropout_14 (Dropout)         (None, 100, 5000)         0         
_________________________________________________________________
dense_14 (Dense)             (None, 100, 600)          3000600   
_________________________________________________________________
dropout_15 (Dropout)         (None, 100, 600)          0         
_________________________________________________________________
dense_15 (Dense)             (None, 100, 8)            4808      
=================================================================
Total params: 3,663,208
Trainable params: 3,663,208
Non-trainable params: 0

После этого при попытке запустить модель появляется ошибка ниже:

model.fit(x=cnn_texts_mat, y=y_train, epochs=2, batch_size=100)

ValueError                                Traceback (most recent call last)
<ipython-input-41-4b9da9914e7e> in <module>
----> 1 model.fit(x=cnn_texts_mat, y=y_train, epochs=2, batch_size=100)

~/.local/lib/python3.5/site-packages/keras/engine/training.py in fit(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, **kwargs)
    950             sample_weight=sample_weight,
    951             class_weight=class_weight,
--> 952             batch_size=batch_size)
    953         # Prepare validation data.
    954         do_validation = False

~/.local/lib/python3.5/site-packages/keras/engine/training.py in _standardize_user_data(self, x, y, sample_weight, class_weight, check_array_lengths, batch_size)
    787                 feed_output_shapes,
    788                 check_batch_axis=False,  # Don't enforce the batch size.
--> 789                 exception_prefix='target')
    790 
    791             # Generate sample-wise weight values given the `sample_weight` and

~/.local/lib/python3.5/site-packages/keras/engine/training_utils.py in standardize_input_data(data, names, shapes, check_batch_axis, exception_prefix)
    126                         ': expected ' + names[i] + ' to have ' +
    127                         str(len(shape)) + ' dimensions, but got array '
--> 128                         'with shape ' + str(data_shape))
    129                 if not check_batch_axis:
    130                     data_shape = data_shape[1:]

ValueError: Error when checking target: expected dense_15 to have 3 dimensions, but got array with shape (301390, 8)

Answer 1

Посмотрите на выходную форму последнего слоя в сводке модели: это (None, 100, 8).Это не то, что вы ищете.Ваши ярлыки для каждого образца имеют форму (8,), а не (100,8).Почему это случилось?Это потому, что Плотный слой применяется на последней оси его входа , и, следовательно, поскольку выходной слой встраиваемого слоя 3D, выход всех следующих плотных слоев также будет иметь 3 измерения.

Как решить это?Один из подходов заключается в использовании слоя Flatten где-нибудь в вашей модели (возможно, сразу после слоя внедрения).Таким образом, вы получите двумерный выходной сигнал формы (None, 8), который вам нужен и соответствует форме меток.

Однако учтите, что вы можете получить очень большую модель (т.е. слишком многопараметры), которые были бы очень склонны к переоснащению.Либо уменьшите количество единиц в плотных слоях, либо, альтернативно, используйте слои Conv1D и MaxPooling1D или даже слои RNN для обработки вложений и уменьшите размерность результирующих тензоров (что также вероятно, что их использование также увеличит точностьмодель также).