Как получить «без метки» из модели машинного обучения с множеством меток?

Question

Я работаю над контролируемой многокомпонентной моделью ML, которая на данный момент работает путем прогнозирования «тега» (метки) для ввода от пользователя на основе набора данных, с которым он был обучен. Набор обучающих данных состоял из двух столбцов - записей и тегов.

Всякий раз, когда я даю что-либо в качестве входных данных, прогноз является соответствующим тегом для него. Но когда входные данные являются чем-то, чего нет в наборе данных, выходными данными снова является какой-то случайный тег. Я ищу решение в контексте создания чат-бота, который бы возвращал что-то вроде «Извините, я не мог этого понять», если ввод отличается от того, для чего машина была обучена. Как я могу это сделать? Есть ли способ получить «пустую метку» в таком случае, чтобы я мог просто сопоставить свои ответы соответственно для этого условия?

Заранее спасибо!

Answer 1

Вы можете использовать softmax в вашем последнем слое и создать порог для вашего прогноза.

Если оценка вашего максимального прогноза ниже порога, чат-робот может ответить «Извините, я не мог этого понять».

Поскольку вы не дали никакого кода, я не могу показать вам, как добавить порог, но его довольно просто найти в переполнении стека.