Добавление текстового поиска к контентному поиску изображений (convnet)

Question

Я реализовал приложение CBIR, используя стандартный подход ConvNet:

1. Использование Transfer Learning для извлечения функций из набора данных изображений
2. Кластеризация извлеченных функций с помощью knn
3. По заданному поисковому изображению извлеките его характеристики
4. Дайте 10 лучших изображений, которые находятся близко к изображению в руке в сети knn

Я получаю хорошие результаты, но хочуулучшать их, добавляя текстовый поиск.Например, когда мое изображение - рулевое колесо автомобиля, близкими результатами будут любые круглые объекты, которые напоминают рулевое колесо, например велосипедное колесо.Каков наилучший способ ввода текста, скажем, «автомобильная деталь», чтобы производить только рулевые колеса, похожие на изображение для поиска.

Я не могу найти хороший способ объединить ConvNet с моделью текстового поиска, чтобы создать улучшеннуюknn network.

Моя другая идея - использовать ElasticSearch для текстового поиска, что хорошо для ElasticSearch.Например, я бы выполнил поиск CBIR, описанный ранее, и по результатам возврата я мог бы посмотреть их описание и затем использовать ElasticSearch для подмножества совпадений, чтобы получить результаты.Возможно пометить изображения классами и позволить пользователю де / выбрать группы интересующих изображений.

Я не хочу выполнять поиск текста перед поиском изображений, так как некоторые изображения плохо описаны, поэтому при поиске текста их будет не хватать.

Будем благодарны за любые мысли или идеи!

Answer 1

Я не нашел оригинальную статью, но, может быть, вы найдете ее интересной: https://www.slideshare.net/xavigiro/multimodal-deep-learning-d4l4-deep-learning-for-speech-and-language-upc-2017

Речь идет о поиске векторного пространства, в котором находятся как изображения, так и текст (мультимодальное вложение).Таким образом, вы можете найти текст, похожий на изображения, изображения, относящиеся к тексту, или использовать текст / изображение кортежа для поиска похожих изображений.

Я думаю, возможно, эта идея интересна для начала.