Имеет ли смысл проводить перекрестную проверку при тонкой настройке языковой модели, такой как BERT?

Question

У меня есть вопрос, касающийся тонкой настройки языковой модели, такой как BERT. Поскольку у меня есть только набор данных размером ~ 5 КБ, имеет ли смысл проводить перекрестную проверку?

Я не нашел никаких подсказок относительно этой топи c. (точная настройка + перекрестная проверка) С одной стороны, BERT разработан для мелких наборов данных, и он просто обучает последний слой, а не всю модель, но с другой стороны набор данных в этом случае действительно мал.

Любые предложения приветствуются. Спасибо!

Answer 1

Перекрестная проверка используется для оценки "результатов статистического анализа [и того, как он] обобщается в независимый набор данных. Он в основном используется в условиях, где целью является прогнозирование, и каждый хочет оценить, насколько точно Прогностическая модель будет выполнять на практике »( Википедия ). Так что, если это ваша цель, обязательно используйте перекрестную проверку. Но перекрестная проверка сама по себе не повысит вашу точность, она просто поможет вам лучше оценить вашу модель.

Обычно вы разбиваете свой набор данных на тренировочные и тестовые данные таким образом, что ваши тестовые данные достаточно большой, чтобы сказать, насколько хороша ваша модель, насколько она обобщена на невидимых данных. Используя перекрестную проверку, вы можете увеличить свои данные обучения, потому что основная цель перекрестной проверки - рассказать вам, как модель лучше обобщает невидимые данные.

Я не могу придумать ни одной причины, по которой вам не следует использовать перекрестная проверка на предварительно обученной модели, такой как BERT.