Я сейчас читаю для бакалавра творческих вычислений в Лондонском университете и у меня последний год учебы. Единственный оставшийся модуль, который я оставил для получения степени, - это Проект.
Я очень заинтересован в области поиска изображений на основе контента, и моя идея проекта основана на этой концепции. Короче говоря, моя идея состоит в том, чтобы помочь начинающим художникам в рисовании эскизов в перспективе с использованием 3D-моделей в качестве эталонов. Я намерен добиться этого путем рендеринга боковых / верхних / передних видов каждой 3D-модели в коллекции, предварительной обработки этих изображений и их индексации. Во время рисования пользователь получает серию моделей (которые были предварительно обработаны), которые лучше всего соответствуют его / ее эскизу, которые можно использовать в качестве руководства для дальнейшего улучшения эскиза. Поскольку этот подход основан на трехмерных моделях, пользователь также может повернуть эскиз в трехмерном пространстве и продолжить рисование на основе этой перспективы. Такой подход может помочь художникам-комиксам или концептуальным дизайнерам быстро набросать свои идеи.
Во время моего исследования я наткнулся на LIRe и должен сказать, что был действительно впечатлен. Я скачал демо LIRe v0.9 и поиграл с включенным образцом. Я также разработал небольшое приложение, которое автоматически загружает, индексирует и ищет похожие изображения, чтобы лучше понять внутреннюю работу движка. Оба подхода дали очень хорошие результаты даже при ограниченном наборе изображений (~ 300).
Следующим экспериментом было проверить выходной отклик, когда эскиз, а не фактическое изображение предоставляется в качестве входных данных. Как упоминалось ранее, система должна быть в состоянии предоставить набор подходящих моделей на основе эскиза пользователя. Это может быть достигнуто путем сопоставления эскиза с визуализированными изображениями (которые, конечно, затем связываются с 3D-моделью). Я попробовал этот подход, сравнив несколько эскизов с небольшим набором изображений, и результаты были довольно хорошими - см. http://claytoncurmi.net/wordpress/?p=17. Однако, когда я попробовал с другим набором изображений, результаты были не так хороши, как предыдущие сценарий. Для создания и поиска по индексу я использовал технику «Мешок визуальных слов» (с использованием SURF), предоставленную LIRe.
Я также пробую пример кода, который поставляется с OpenCV (я никогда не использовал эту библиотеку и все еще нахожу свой путь).
Итак, мои вопросы:
1.. Кто-нибудь пытался внедрить систему поиска изображений на основе эскизов? Если да, то как ты это сделал?
2.. Можно ли использовать LIRe / OpenCV для извлечения изображений на основе эскизов? Если да, то как это можно сделать?
PS. Я прочитал несколько статей на эту тему, однако не нашел документации о фактической реализации такой системы.
Любая помощь и / или обратная связь с благодарностью.
С уважением,
Clayton