Использование предварительно обученных вложений BERT в качестве входных данных для CNN с tenorflow.keras приводит к ValueError - PullRequest
Новая
       5

Использование предварительно обученных вложений BERT в качестве входных данных для CNN с tenorflow.keras приводит к ValueError

0 голосов
/ 06 апреля 2020

Я новичок в НЛП и углубленном изучении, поэтому у меня есть (вероятно) очень основная c проблема.

Я пытаюсь создать двоичный классификатор на основе предварительно обученных вложений BERT как особенности. До сих пор я успешно создал вложения и построил простую модель Sequential () с tenorsflow.keras. Код ниже работает: 

model = tf.keras.Sequential([
    Dense(4, activation = 'relu', input_shape = (768,)),
    Dense(4, activation = 'relu'),
    Dense(1, activation = 'sigmoid')])

model.compile(optimizer = 'adam',
              loss = 'binary_crossentropy',
              metrics = ['accuracy'])

То, что я хотел бы сделать, это адаптировать этот код, чтобы теперь быть CNN. Однако, когда я добавляю сверточный слой, я получаю ошибку: 

model = tf.keras.Sequential([
    Conv1D(filters = 250, kernel_size = 3, padding='valid', activation='relu', strides=1, input_shape = (768,)),
    GlobalMaxPooling1D(),
    Dense(4, activation = 'relu'),
    Dense(1, activation = 'sigmoid')])

model.compile(optimizer = 'adam',
              loss = 'binary_crossentropy',
              metrics = ['accuracy'])

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-23-59695050a94e> in <module>()
      3     GlobalMaxPooling1D(),
      4     Dense(4, activation = 'relu'),
----> 5     Dense(1, activation = 'sigmoid')])
      6 
      7 model.compile(optimizer = 'adam',

5 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/input_spec.py in assert_input_compatibility(input_spec, inputs, layer_name)
    178                          'expected ndim=' + str(spec.ndim) + ', found ndim=' +
    179                          str(ndim) + '. Full shape received: ' +
--> 180                          str(x.shape.as_list()))
    181     if spec.max_ndim is not None:
    182       ndim = x.shape.ndims

ValueError: Input 0 of layer conv1d_2 is incompatible with the layer: expected ndim=3, found ndim=2. Full shape received: [None, 768]

Вот как выглядят данные, которые я использую.

Особенности: 

train_features[0]

array([-4.97862399e-01,  1.49541467e-01,  5.81708886e-02,  1.63668215e-01,
       -2.77605206e-01,  3.57868642e-01,  1.70950562e-01,  2.69330859e-01,
       -3.29369396e-01,  2.12891083e-02, -4.02462274e-01, -1.98120754e-02,
       -2.18944401e-01,  4.34780568e-01, -2.75409579e-01,  2.03015730e-01,...

train_features[0].shape
(768,)

Ярлыки: 

train_labels.iloc[0:3]
turnout       
0        73446    0
1        53640    1
         16895    1
Name: turnout, dtype: int64

Любой совет очень ценится. Большое вам спасибо!

1 Ответ

1 голос
/ 06 апреля 2020

Для 2D-свёрток нужны 4D-входы: (batch_size, width1, width2, channels).

Ваши данные представляют собой один массив с формой (batch_size, 768). Если вы действительно хотите использовать свертку (если вы думаете, что в ваших данных может быть пространственная связь), вам необходимо правильно сформировать ее, прежде чем подавать ее в вашу модель.

1D Для сверток требуются 3D-входы: (batch_size, length, channels).

...