Регрессия на основе CNN со словами

Question

Я успешно обучил CNN с выходным слоем регрессии, чтобы предсказать числовой индикатор изображения. Далее, я хотел бы закодировать описание каждого изображения в CNN, чтобы получить лучшую производительность регрессии.

Мои данные представляют собой серию рентгеновских изображений в 512 x 512. Каждое изображение имеет описание, записывающее, как было снято изображение. Например, описание изображения № 1 -

Voltage: 40V
Current: 2A
Shuttle speed: 1 sec
Filter material: rhodium

описание изображения № 2 -

Voltage: 38V
Current: 1.7A
Shuttle speed: 0.7 sec
Filter material: tungsten

описание других изображений очень похоже, только с другими параметрами.

Мой вопрос: как я могу закодировать это описание в CNN?

Answer 1

Если у вас есть только десятки возможных значений для атрибутов, я бы предложил изучить встраивания для каждой из пар атрибут-значение и объединить их с выходами CNN и, возможно, добавить один скрытый слой поверх этого, чтобы текст и изображение функции могут больше взаимодействовать друг с другом.

Если тексты не так хорошо структурированы, я обработал бы текст с помощью RNN (т. е. токенизировал текст, вставлял токены, передавал их в RNN и брал конечное состояние). Это даст вам один вектор текстового описания, который вы можете снова объединить с выходом CNN.