Я успешно обучил обучению ранжированию модели с тензорным потоком в наборе данных / данных. Теперь я хочу сделать прогнозы для новых данных, которых модель никогда не видела раньше. Во время генерации набора поездов / валидации я создал файлы tfrecords с функциями контекста и примера, а также большой вокаб-файл, содержащий нграммы из всего текста в моих данных поезда / валидации.
Теперь возникает вопрос: должен ли я также генерировать ngrams из моих новых, неизвестных данных, и добавить его в файл Vocab перед запуском прогнозов? Или даже добавить ngrams в файл vocab перед тренировкой моей модели?