Невозможно выделить 60,0 ГиБ для массива с формой. Керас - PullRequest
0 голосов
/ 07 апреля 2020

Я использую это руководство для разработки Neural Translation System с использованием Keras в Python. Мне успешно удалось обучить и протестировать мою нейронную сеть с набором данных, который содержит 30 тыс. Фраз. Проблема в том, что если у меня go больше 30 тыс. Фраз, на моем компьютере не хватает памяти (у меня 32 ОЗУ). Вероятно, мне нужно создать меньшие наборы данных и переобучить сеть. Но если я сделаю это, то предыдущий набор данных, о котором обучалась нейронная сеть, будет забыт, если я попытаюсь проверить сеть после обучения ее на другом наборе данных, он покажет разные результаты, как будто он забыл то, что узнал.

Как можно ли решить эту проблему? Весь код, который я использую, находится в руководстве.

1 Ответ

0 голосов
/ 07 апреля 2020

используйте базу данных MySQL для хранения вашего набора данных или разбейте его на блоки перед сохранением

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...