Как мне найти Уолдо с Mathematica?

Question

Это меня беспокоило на выходных: как можно решить эти загадки Где Уолдо? [ 'Wally' за пределами Северной Америки] , используя Mathematica (обработка изображений и другие функции)?

Вот то, что у меня есть, функция, которая немного уменьшает визуальную сложность за счет затемнения. некоторые из не красных цветов:

whereIsWaldo[url_] := Module[{waldo, waldo2, waldoMask},
    waldo = Import[url];
    waldo2 = Image[ImageData[
        waldo] /. {{r_, g_, b_} /;
          Not[r > .7 && g < .3 && b < .3] :> {0, 0,
          0}, {r_, g_, b_} /; (r > .7 && g < .3 && b < .3) :> {1, 1,
          1}}];
    waldoMask = Closing[waldo2, 4];
    ImageCompose[waldo, {waldoMask, .5}]
]

И пример URL, где это «работает»:

whereIsWaldo["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"]

(Уолдо у кассы):

Answer 1

Я нашел Уолдо!

Как я это сделал

Во-первых, я отфильтровываю все не красные цвета

waldo = Import["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"];
red = Fold[ImageSubtract, #[[1]], Rest[#]] &@ColorSeparate[waldo];

Далее я вычисляю соотношение этого изображения с простым черно-белым рисунком, чтобы найти красные и белые переходы в рубашке.

corr = ImageCorrelate[red, 
   Image@Join[ConstantArray[1, {2, 4}], ConstantArray[0, {2, 4}]], 
   NormalizedSquaredEuclideanDistance];

Я использую Binarize, чтобы выделить пиксели на изображении с достаточно высокой корреляцией и нарисовать белый круг вокруг них, чтобы подчеркнуть их, используя Dilation

pos = Dilation[ColorNegate[Binarize[corr, .12]], DiskMatrix[30]];

Мне пришлось немного поиграться с уровнем. Если уровень слишком высок, выявляется слишком много ложных срабатываний.

Наконец, я комбинирую этот результат с исходным изображением, чтобы получить результат выше

found = ImageMultiply[waldo, ImageAdd[ColorConvert[pos, "GrayLevel"], .5]]

Answer 2

Я думаю о «пуленепробиваемом способе сделать это» (подумайте, что ЦРУ находит Уолдо на любом спутниковом снимке в любое время, а не на одном изображении без конкурирующих элементов, таких как полосатые рубашки) ... Я бы тренировал Больцмана машина на многих изображениях Уолдо - все его вариации сидя, стоя, окклюдированные и т. д .; рубашка, шапка, фотоаппарат и все дела. Вам не нужен большой корпус Вальдоса (возможно, 3-5 будет достаточно), но чем больше, тем лучше.

Это назначит облака вероятностей различным элементам, встречающимся в любом правильном расположении, и затем установит (посредством сегментации), каков средний размер объекта, фрагментирует исходное изображение в ячейки объектов, которые больше всего напоминают отдельных людей (учитывая возможные окклюзии) и представлять изменения), но поскольку картины Уолдо обычно содержат ОДНО людей примерно в одном и том же масштабе, это должно быть очень простой задачей, а затем прокормить эти сегменты предварительно обученной машины Больцмана. Это даст вам вероятность того, что каждый из них будет Уолдо. Возьмите один с наибольшей вероятностью.

Именно так сегодня работают OCR, устройства для считывания почтовых индексов и распознавания рукописного текста. По сути, вы знаете, что ответ есть, вы более или менее знаете, как он должен выглядеть, и все остальное может иметь общие элементы, но определенно «не это», так что вы не беспокоитесь о «не это», вы просто посмотрите на вероятность «это» среди всех возможных «это вы уже видели» (например, в ZIP-кодах вы тренируете BM всего 1 с, всего 2 с, только 3 с и т. д., затем кормите каждого введите цифру для каждой машины и выберите ту, которая наиболее надежна. Это работает намного лучше, чем функции обучения всех нейронных сетей всех чисел.

Answer 3

Я согласен с @GregoryKlopper, что правильный способ решения общей проблемы поиска Уолдо (или любого объекта интереса) в произвольном изображении состоит в обучении контролируемого классификатора машинного обучения. Используя множество положительно и отрицательно помеченных примеров, алгоритм, такой как Машина опорных векторов , Boosted Decision Stump или Boltzmann Machine, вероятно, может быть обучен для достижения высокой точности по этой проблеме. Mathematica даже включает эти алгоритмы в Framework машинного обучения .

Две задачи с обучением классификатору Уолдо будут:

1. Определение правильного преобразования изображения. Вот где ответ @ Heike был бы полезен: красный фильтр и детектор полосатой структуры (например, вейвлет или декомпозиция DCT) были бы хорошим способом превратить необработанные пиксели в формат, из которого мог бы извлечь алгоритм классификации. Также потребуется блочная декомпозиция, которая оценивает все подразделы изображения ... но это облегчается тем фактом, что Уолдо а) всегда примерно одинакового размера и б) всегда присутствует ровно один раз в каждом изображении.
2. Получение достаточного количества обучающих примеров. SVM лучше всего работают не менее чем с 100 примерами каждого класса. Коммерческие приложения повышения (например, фокусировка лица в цифровых камерах) обучаются на миллионах положительных и отрицательных примеров.

Быстрый Поиск картинок Google обнаруживает некоторые хорошие данные - я собираюсь попробовать собрать несколько обучающих примеров и кодировать их прямо сейчас!

Однако, даже подход машинного обучения (или подход, основанный на правилах, предложенный @iND) будет бороться за образ, подобный Land of Waldos !

Answer 4

Я не знаю Mathematica.,,очень плохо.Но мне нравится ответ выше, по большей части.

Тем не менее есть большой недостаток в использовании полос для получения ответа (лично у меня нет проблем с one ручной настройкой).Существует пример (приведенный Бреттом Чемпионом, здесь ), который показывает, что они порой ломают рисунок рубашки.Так что это становится более сложной моделью.

Я бы попробовал подход идентификатора формы и цвета, а также пространственные отношения.Подобно распознаванию лиц, вы можете искать геометрические узоры в определенных соотношениях друг от друга.Предостережение заключается в том, что обычно одна или несколько из этих форм закрыты.

Получить баланс белого на изображении и красный баланс красного на изображении.Я считаю, что Уолдо всегда имеет одинаковое значение / оттенок, но изображение может быть отсканированным или плохой копии.Затем всегда обращайтесь к массиву цветов, которыми на самом деле является Уолдо: красный, белый, темно-коричневый, синий, персиковый, {цвет обуви}.

Есть рисунок рубашки, а также брюки, очки, волосы, лицо, обувь и шляпа, которые определяют Уолдо.Кроме того, по отношению к другим людям в изображении, Уолдо на худой стороне.

Итак, найдите случайных людей, чтобы получить рост людей на этой картинке.Измерьте среднюю высоту группы вещей в случайных точках на изображении (простой контур даст довольно много отдельных людей).Если каждая вещь не находится в пределах стандартного отклонения друг от друга, они пока игнорируются.Сравните средние высоты с высотой изображения.Если соотношение слишком велико (например, 1: 2, 1: 4 или аналогично близко), попробуйте еще раз.Запустите его 10 (?) Раз, чтобы убедиться, что сэмплы все довольно близко друг к другу, исключая любое среднее значение, выходящее за пределы стандартного отклонения.Возможно в Mathematica?

Это ваш размер Уолдо.Уолсо тощий, поэтому вы ищете что-то 5: 1 или 6: 1 (или что-то еще) ht: wd.Однако этого недостаточно.Если Уолдо частично скрыт, высота может измениться.Итак, вы ищете блок красно-белого цвета, который ~ 2: 1.Но должно быть больше показателей.

1. У Уолдо есть очки.Найдите два кружка 0,5: 1 над красно-белым.
2. Синие штаны.Любое количество синего на той же ширине в пределах любого расстояния между концом красно-белого и расстоянием до его ног.Обратите внимание, что он носит короткую рубашку, поэтому ноги не слишком близко.
3. Шляпа.Красно-белый на любом расстоянии до макушки головы.Обратите внимание, что у него должны быть темные волосы внизу и, вероятно, очки.
4. Длинные рукава.красно-белый под некоторым углом от основного красно-белый.
5. темные волосы.
6. Цвет обуви.Я не знаю цвет.

Может подойти любой из них.Это также негативные проверки против похожих людей на картинке - например, № 2 отрицает ношение красно-белого фартука (слишком близко к обуви), # 5 устраняет светлые волосы.Кроме того, форма является только одним показателем для каждого из этих испытаний.,,Один только цвет в пределах указанного расстояния может дать хорошие результаты.

Это сузит области для обработки.

Сохранение этих результатов приведет к набору областей, которые должны иметьУолдо в этом.Исключите все остальные области (например, для каждой области выберите круг, в два раза превышающий средний размер человека), а затем запустите процесс, который выложил @Heike, удалив все, кроме красного, и так далее.

Есть мысли о том, как это кодировать?

---

Редактировать:

Мысли о том, как это кодировать.,,исключите все области, кроме красного Уолдо, скелетируйте красные области и обрежьте их до одной точки.Сделайте то же самое для волос Waldo коричневого цвета, брюк Waldo синего цвета, цвета обуви Waldo.Для цвета кожи Уолдо исключите, затем найдите контур.

Затем исключите не красные, расширите (много) все красные области, затем скелетируйте и обрежьте. Эта часть даст список возможных точек центра Уолдо. Это будет маркер для сравнения всех других цветовых срезов Waldo.

Отсюда, используя скелетонизированные красные области (не расширенные), подсчитайте линии в каждой области. Если есть правильное число (четыре, верно?), Это, безусловно, возможная область. Если нет, я просто исключаю это (как центр Уолдо ... это все еще может быть его шляпа).

Затем проверьте, есть ли форма лица вверху, точка волос вверху, брюки внизу, точки обуви внизу и т. Д.

Пока нет кода - все еще читаете документы.

Answer 5

У меня есть быстрое решение для поиска Уолдо с использованием OpenCV.

Я использовал функцию сопоставления с шаблоном , доступную в OpenCV, чтобы найти Уолдо.

Чтобы сделать этот шаблоннужно.Поэтому я обрезал Уолдо из исходного изображения и использовал его в качестве шаблона.

Затем я вызвал функцию cv2.matchTemplate() вместе с нормализованным коэффициентом корреляции в качестве используемого метода.Он возвратил высокую вероятность в одной области, как показано белым цветом ниже (где-то в верхней левой области):

Положение самой высокой вероятностирегион был найден с помощью функции cv2.minMaxLoc(), которую я затем использовал для рисования прямоугольника, чтобы выделить Уолдо: