Что я могу сделать с большим вводимым текстом, который не может все поместиться в память

Question

У меня есть набор данных с примерно 300 тысячами образцов, где каждый образец представляет собой текстовый документ с примерно 25 тысячами слов.

Я могу загрузить все это в память, но я не могу по-настоящему использовать сеть GRU, так как я просто сталкиваюсь с ошибкой памяти из-за количества параметров

Я попытался установить max vocabдлина до 35000 и максимальная длина последовательности до 2500, после чего я могу запустить сеть GRU.Я получил немного хорошую точность, но я теряю 90% своих данных.

Answer 1

Одним из решений может быть загрузка меньшего входного набора данных за один раз и итерация по всему набору данных, или вы можете использовать небольшой размер пакета в вашей тренировке.