В настоящее время я имею дело с языковой моделью, то есть последовательной моделью, и мой целевой словарный запас для предсказания действительно очень высок.
x = Dense(80000000, activation='softmax')
Я не могу рассчитать softmax по всему словарному запасу, поэтому вместо этого я использовал tf.nn.sampled_softmax для обучения модели, но для оценки на валидацию мы все равно должны рассчитать softmax, не так ли? Но я не могу этого сделать, выдает ошибку, что он не помещается в память GPU при попытке сделать это в tenorflow
Я использовал размер пакета 32. Какие варианты у меня есть в этом случае ? Как справиться с проблемой? Пожалуйста, помогите мне