У меня есть вопрос, касающийся LSTM для прогнозирования seq2seq.
Основа c физическая проблема: Предположим, у нас есть базовое c физическое задание нагретой пружины с обтекаемым воздухом это, уменьшая его температуру только конвективным теплопередачей. Если мы прикладываем усилие для сжатия пружины, площадь вокруг нее уменьшается, поэтому перенос тепла за счет конвекции уменьшается. У нас есть данные тренировки для случайного движения пружины и связанной с ней конвективной передачи тепла. Теперь мы хотим предсказать перенос тепла для другого случайного движения.
Итак, для тренировочного ввода мы говорим, что 2000 временных шагов, описывающих движение пружины, и тренировочный выход - это передача тепла, поэтому с формой (последовательности, временные шаги, особенности):
train_x.shape = (1, 2000, 1) train_y.shape = (1, 2000, 1)
Я использовал однослойный LSTM с 32 единицами с довольно хорошими результатами.
Теперь я подумал, что если я вычислю производную от движения пружин, то есть от тренировочного входного сигнала, как он есть, и вставлю его в качестве новой функции в качестве ввода, я мог бы получить лучшие результаты. Кто-то может увидеть в этом хитрость прироста данных.
Итак, новая форма: train_x.shape = (1, 2000, 2) train_y.shape = (1, 2000, 1)
И я получил некоторые лучшие результаты, при этом все остальное осталось прежним.
Поэтому я повторил процедуру и вставил вторую производную движения во входной сигнал, чтобы форма была:
train_x.shape = (1, 2000, 3) train_y.shape = (1, 2000, 1)
И снова я получил некоторые лучшие результаты! Хотя я должен отметить, что из-за дополнительной информации, поступающей в LSTM, мне пришлось увеличить количество единиц до 50.
Итак, возникает вопрос:
Как далеко Могу ли я go с этим? И почему все остальные не делают хотя бы первую производную в качестве входа? Я никогда такого не видел, и результаты были гораздо более точными, а обучение заняло немного больше времени. Конечно, всегда есть дело между увеличением вычислительных затрат и повышением точности, но мне интересно, исследовал ли кто-нибудь с более мощным компьютером, чем я, такое поведение и мог бы что-то рассказать о результатах.