Длина последовательности LSTM

Question

Приветствую всех!

Я хочу спросить, существует ли оптимальная длина последовательности сети LSTM в общая или с точки зрения прогнозирования временных рядов проблем?

Я читал о исчезающем градиенте или взрывном градиенте проблем, которые были у очень длинных сетей RNN, и LSTM пытался решить и преуспел в определенной степени.

Я также слышал о методах обработки очень больших последовательностей с LSTM и RNN в целом, таких как: усечение последовательностей, суммирование последовательностей, усечение обратного распространения по времени или даже использование архитектуры кодировщика-декодера.

Я задал этот вопрос, потому что я не нашел исследовательскую статью об этом, только это сообщение в блоге , в котором указана оптимальная длина последовательности между 10-30 .

Заранее спасибо!

Хорошего дня!

Answer 1

Выберите модель.

TLDR: Просто попробуйте.

Поскольку обучение уже требует значительных вычислительных ресурсов, самый простой способ рассчитать, насколько успешной будет модель, - это проверить ее. Комбинация, которая работает лучше всего, не может быть легко предопределена, особенно с таким расплывчатым описанием (или вообще без описания) того, как выглядит реальная проблема.

С этот ответ :

Это полностью зависит от характера ваших данных и внутренних корреляций. Эмпирического правила не существует. Однако, учитывая, что у вас большой объем данных, двухслойный LSTM может моделировать большое количество проблем / тестов временных рядов.

Так что в вашем случае вы можете попробовать длины последовательностей от 10 до 30. Но я бы также попытался оценить, как ваш алгоритм обучения работает вне этой рекомендации, по посту, который вы связали.