Рекомендуемая модель глубокого обучения для завершения последовательности

Question

Я пытаюсь решить проблему завершения последовательности. Давайте предположим, что у нас есть последовательность истинных оснований (1,2,4,7,6,8,10,12,18,20)

Вход в нашу модель является неполной последовательностью. т.е. (1,2,4, _, _, _, 10,12,18,20). Из этой неполной последовательности мы хотим предсказать исходную последовательность (последовательность Основы Правды). Какие модели глубокого обучения можно использовать для решения этой проблемы?

Это проблема архитектуры LSTM кодера-декодера?

Примечание: у нас есть тысячи полных последовательностей для обучения и тестирования модели.

Любая помощь приветствуется.

Answer 1

В своей задаче завершения последовательности вы пытаетесь предсказать следующие элементы в последовательности или узнаете только пропущенные значения? Обучение нейронной сети с отсутствующими данными является проблемой на ее собственных условиях. Если вы используете Keras и LSTM-тип NN для решения вашей проблемы, вам следует подумать о маскировании, вы можете обратиться к этому потоку stackoverflow для получения более подробной информации: Многомерный LSTM с отсутствующими значениями Что касается прогнозирования отсутствующих значений, почемуне пробуете автокодеры?

Answer 2

Это не совсем проблема последовательности к последовательности, это проблема маркировки последовательности. Я бы предложил либо сложить двунаправленные слои LSTM, за которыми следуют классификатор, либо слои трансформера, за которыми следует классификатор.

Архитектура кодера-декодера требует большого количества данных для правильной обработки и особенно полезна, если целевая последовательность может иметь произвольную длину, только смутно в зависимости от длины исходной последовательности. В конечном итоге он научился бы выполнять работу с достаточным количеством средств, но маркировка последовательности представляет собой более простую проблему.

С маркировкой последовательности можно установить настраиваемую маску для выходных данных, поэтому модель будет прогнозировать только недостающие числа. Модель кодера-декодера должна научиться сначала копировать большую часть входных данных.