Обучение той же модели с различными данными обучения в НАНУ РАСА

Question

Я создал чат-бота, добавил тренировочные данные (несколько сотен) и обучил их до сих пор, это хорошо. Но когда я добавил больше данных об обучении, около 50 000 и даже больше. Теперь я застрял здесь. НАНУ РАСА не может обучить столько тренировочных данных, сколько может обучить до 20 000 тренировочных данных, но не более того. Я получаю сообщение «ОШИБКА: невозможно выделить память»

Answer 1

Возможно, вам придется сократить тренировочный набор, чтобы оставить место для новых примеров.Вам не нужно кормить свою модель всеми комбинациями возможных слов.Это хорошо для обобщения даже изучения редкого набора комбинаций.

Поскольку вы работаете с примерами по 50 тыс., Я думаю, что вы уже используете инструмент для их генерации.Вы можете заглянуть в документы, если это поможет вам выполнить обрезку, или переключиться на текущий рекомендуемый тот, который может.