Тренировка перцептрона из потока с ограниченной памятью

Question

Я хочу обучить Перцептрона, используя правило стохастического градиента из данных потока.У меня очень ограниченный объем памяти, и я могу хранить только N $ примеров.

Предположим, что мое население состоит из точки, как показано на следующем рисунке:

Теперь предположим, что мои первые N примеры приведеныследующим образом, и я могу классифицировать их правильно, как показано на следующем рисунке:

Теперь проблема в том, что следующие N примеры входят в этопуть:

, и я классифицировал их, как показано.Проблема заключается в том, что, поскольку я не могу обучить персептрон для предыдущих N примеров (потому что я могу хранить только N примеров, а предыдущие N примеров нужно выбросить), а обучение на следующих N примерах противоречит гипер.самолет для предыдущих N примеров.

Как обучить персептрон из потоковых данных?Нужно ли хранить все примеры или есть альтернативный способ?

Answer 1

Вам необходимо каким-то образом подвести итог вашего предыдущего обучения, а затем включить это резюме в ваше новое обучение.

Один из упрощенных способов сделать это - выразить каждую категорию как k (совокупность кластеров) копийцентроид скопления.Когда вы тренируетесь на каждом новом наборе данных, включите код для правильного взвешивания центроида.

Подобный подход заключается в изменении вашего тренировочного алгоритма, чтобы включить этот вес непосредственно в способ, которым вы изменяете коэффициенты оценки.Здесь может пригодиться «Скорость обучения».

Вы также можете искать в Интернете работу, проделанную при обучении потоковым данным;Я дал вам только простую версию подходов к запуску.

Answer 2

Разве не очень приятно, что ваши данные распределяются так по-разному, если источник каждый раз один и тот же?

Если нет, вы можете сохранить только k выборок из каждой популяции, пока не увеличится предел памяти и затемтренируйтесь с этими более распространенными данными.