Я строю небольшую модель LSTM для двоичной классификации с преобразованием tf-idf
. И я получаю это предупреждение, и его обучение занимает много времени:
UserWarning: Преобразование разреженных IndexedSlices в плотный тензор неизвестной формы. Это может занять большое количество памяти. «Преобразование разреженных IndexedSlices в плотный тензор неизвестной формы.»
Мой код выглядит так
xtrain_tfv = tfv.transform(xtrain)
xvalid_tfv = tfv.transform(xvalid)
model = Sequential()
model.add(Embedding(xtrain_tfv.shape[0], 128))
model.add(LSTM(128, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(1, activation='sigmoid'))
# try using different optimizers and different optimizer configs
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])
print('Train...')
model.fit(xtrain_tfv, ytrain,
batch_size=32,
epochs=15,
validation_data=(xvalid_tfv, yvalid))
score, acc = model.evaluate(xtest_tfv, ytest,
batch_size=32)
xtrain_tfv
имеет форму (6851, 9122)
. Как справиться с этим?