Карикатуристы получают особенно сильную лицензию на своих рисунках по сравнению с неотрезанными фотографиями. Таким образом, попытка идентифицировать Пинки Пай по цвету не очень помогает в кадре, где она упала в чан с черной краской. Или вы можете подумать, что можете идентифицировать Рэрити по ее рогу, но рассмотрите эпизод, в котором она хотела бы, чтобы она была обычным пони ... но, потеряв рог, она усвоила урок о том, как быть собой.
True. Так верно.
Это означает, что в зависимости от того, что вы пытаетесь сделать здесь, и масштабов, может иметь смысл предоставить интерфейс для системы краудсорсинга. Если вы не видели проект «Белые перчатки», вы можете найти вдохновение в этом:
http://whiteglovetracking.com/
Это не обязательно должно быть все автоматически или вручную. Вы можете использовать комбинацию методов и привлекать редакторов-людей, когда есть порог неопределенности.
Что касается разработки эвристики, то, похоже, стоит начать с понимания того, где находятся пони, - это посмотреть на глаза. Начиная с поиска «пониовых вещей» может быть что-то потерянное дело ... особенно, если это кадры из мультфильма, которые могут иметь крупные планы. На самом деле, если посмотреть только на ваш пример, единорог - это просто голова!
Следующим шагом, который я бы предложил, будет поиск в определенных радиусах вокруг глаз цветовых блоков, соответствующих волосам и телу. Все мои маленькие пони в моей коллекции имеют уникальные цвета волос и тела, и ... подождите ... я имею в виду, я не знаю, есть ли у персонажей моего маленького пони уникальные цветовые комбинации или нет !! Но они, вероятно, делают.
Как только вы интуитивно поймете цветовой отпечаток пони, вы можете искать дальше и, возможно, получить ограничивающий прямоугольник, используя что-то вроде алгоритма заливки, предполагая, что пони представляют собой отдельные полигоны без дырок. Еще раз глаза могут дать вам хорошее представление о том, насколько большим будет пони на изображении, но еще раз карикатуристы могут сломать это ожидание в любой момент. Плюс пони закрывают глаза или моргают и т.д., поэтому все, что вы здесь делаете, будет нуждаться в проверке.
(Примечание. Если у вас есть весь видеопоток, вы можете использовать межкадровый анализ для устранения проблем моргания. В более общем случае, вероятно, пони являются «наиболее оживленными» вещи в большинстве других статических кадров - это может укрепить вашу уверенность в эвристике при их поиске.)
Но что бы вы ни выбрали, помните, что дружба - это магия, как и распознавание образов!