В настоящее время я борюсь с проблемой объединения статических элементов с последовательностью входных данных в пакете.
У меня есть два канала ввода данных, один обрабатывается через сверточную нейронную сеть (например, vgg-16 или аналогичную) и выводит карту объектов.
Мой второй входной канал содержит список (с переменной длиной) входных данных.
Каждая отдельная запись этого списка и расчетная карта объектов должны быть введены в классификатор.
Я знаю, что могу использовать TimeDistributed Wrapper для обработки последовательностей данных, но это только частично решает мою проблему:
- Расчет карты объектов в первом входном канале является дорогостоящим и должен выполняться только один раз для партии
- Поскольку список во втором канале имеет переменную длину, я не могу использовать повторяющийся слой для правильного дублирования карты объектов, кроме того, у меня возникают проблемы с памятью, поскольку я не могу хранить несколько сотен (или тысяч) копий Карта возможностей в памяти GPU
Каков наилучший способ правильно объединить статические данные (по одному на пакет) с последовательностью данных?