X_train = Объединение 3 различных тензоров, подаваемых в модель.
Y_train = Вектор горячего кодирования для одного слова предложения, имеющего max_seq_len = 60
Поскольку набор данных очень велик, при изменении формымассив, состоящий из горячего кодирования в форме: (num_samples, max_seq_len, vocabulary_size) выдает ошибку памяти. Для подмножества набора данных очень маленького размера он работает нормально.
Как избавиться от этой ошибки?
Мой набор данных состоит из числовых атрибутов на входной стороне и предложения на выходной стороне архитектуры кодер-декодер. Поскольку весь набор данных огромен, я не могу обработать весь набор данных одновременно. Мой код работает на меньшем подмножестве. Я попытался использовать model.fit () для меньшего подмножества, и он работает как обычно.
Как кормить отдельные партии, состоящие из подмножеств набора данных?
Моя основная задача - обучить модель на всем наборе данных, насчитывающем около 900 000 экземпляров.
Ошибка: ошибка памяти / убит