Я изучаю nlp, и, как учебный проект, я пытаюсь встретиться с набором сводок новостей , используя BERT.
Набор данных прост (в news_summary_more. csv) - он имеет статей и заголовков столбцов.
Я думаю, это использовать статьи в качестве функции (X), и заголовки как цель (Y).
Мой вопрос: как мне измерить успех в точной настройке, чтобы модель научилась?
Прогноз модели будет почти никогда не быть тем же самым, что и реальная цель (y! = ^ y), потому что существует так много вариантов суммирования статей, и почти в 100% случаев модель будет несколько отличаться от реального заголовка.
Пример:
Team A won the game against team B
отличается от:
Team A is victorious against team B on the game
Хотя оба имеют почти одно и то же значение.
Так как я могу проверить, если модель приближаться к реальной цели? (возможно как-то с помощью MSE)