Задача
Мне нужно классифицировать различные изображения (графики временных рядов, например, цены акций, но могут быть любые временные ряды) по определенной c тенденции или стадии (правая сторона диаграммы следует классифицировать, например, как увеличение, уменьшение, уменьшение).
Для каждого изображения диаграммы, которое у меня есть в моем обучающем наборе, у меня также есть фактические значения временных рядов, и у меня есть классы различных диаграмм.
Текущий подход
подход, который я сейчас использую, состоит в том, чтобы построить две нейронные сети с промежуточным вычислением / преобразованием. И я надеялся, что все это будет выполнено за одно действие с подгонкой / тренировкой, вместо того, чтобы проводить два разных тренинга. изображение маски (то есть фактический график без каких-либо помех, меток и т. д. c, только линия графика) как Y. Я обучаю сеть, чтобы попытаться обобщить все эти различные изображения диаграммы на фактическую линию графика в виде изображения.
Затем я выполняю вычисление массива изображений по отношению к временному ряду (1D массив значений от 0 до 1) И этот фактический расчетный результат является входом для моей второй нейронной сети, которая обучены доступным временным рядам (которые также нормализуются между 0 и 1. Это LSTM, который классифицирует временные ряды.
Главный вопрос
Есть ли возможность объединить эти две нейронные сети вместе (так что я могу обучить их сразу), но с промежуточной проверкой с другой функцией потерь, чем в e nd?
Примерно так:
InputLayer (массив изображений)> слои CNN ...> Промежуточная проверка / вывод (массив масок изображения)> Промежуточный расчет (слой преобразования)> слои LSTM. ..> Уровень вывода классификации
Я попытался визуализировать, как все соединяется.
