В моей задаче машинного обучения используются две модальности (данные временного ряда типа A и дискретные данные типа B) набора данных для регрессии. В то время как данные временного ряда типа A могут рассматриваться как непрерывные данные, данные типа B содержат определенные значения NaN. Я выровняю данные A и B с одинаковыми метками длины, так как обе данные указывают на одну и ту же метку истинности земли.
Как я могу построить нейронную сеть, которая учитывает механизм смещения или внимания вместо выборки, объединяющей оба кодера двух типов данных. Я имею в виду, например, для одного экземпляра (метка A + B +), если в B есть значения NaN, тогда моя сеть предпочитает больше прогнозировать на основе данных A.
Я искал несколько примеров, что упомянуло внимание для мультимодального или маскирующего слоя, который мог бы вписаться в мой случай. Кто-нибудь может дать мне несколько советов? Большое спасибо.