Обучение модели для достижения лицевых ориентиров DLib, таких как характерные точки для рук и их ориентиры

Question

[Я новичок в машинном обучении и OpenCV]
Ниже приведены результаты, то есть 68 лицевых ориентиров, которые вы получаете при применении модели лицевых ориентиров DLib, которые можно найти здесь .

В этом сценарии упоминается, что модели были обучены на iBUG 300-W наборе данных наземных ориентиров.

Теперь я хочу создать аналогичную модель для отображения ориентиров руки. У меня здесь набор данных руки .

Что я не получаю, это:
1. как я должен тренировать модель на этих позициях? Должен ли я вручную отмечать каждое соединение на каждом отдельном изображении или есть оптимизированный способ для этого?
2. В модели DLib каждая позиция ориентира лица имеет конкретное значение, например, правые брови составляют 22, 23, 24, 25, 26 соответственно. В какой момент им дали бы эти значения?
3. Достаточно ли будет обучить эти изображения на предикторе формы DLib , обучающем скрипте или мне придется обучать модель и на других платформах (например, Tensorflow + Keras)?

Answer 1

Ответ

@ thachnb выше отвечает на все вопросы.

1. Маркировка должна выполняться вручную.С DLib Imglab поставляется с источником и может быть легко построен с помощью CMake.Это позволяет:
   • Маркировка с помощью прямоугольников
   • Аннотирование / обозначение частей (объектов) на объекте (объекте интереса) Например, например: грань является объектом, а элементы / ориентиры позиционируют его части.

Мне очень рекомендовали Amazon Mechanical Turk во время моих исследований.

Функциям присваиваются эти значения во время их маркировки.Вы можете проявлять творческий подход в этих соглашениях об именах, пока не будете последовательными. Так как здесь требуется только обучение ориентирам / характерным точкам, здесь будет достаточно подготовленного DLib Shape Predictor Trainer .Dlib имеет довольно подробную документацию, поэтому его не составит труда выполнить.

Кроме того, для этого вам могут потребоваться хорошие ресурсы для набора данных.Ниже приведены отличные предложения:

• CVOnline: базы данных изображений
• Набор данных TwentyBN
• Силезский университетбазы данных технологии

Надеюсь, у других это получится.

Answer 2

1. как мне тренировать модель на этих позициях? Должен ли я вручную отмечать каждое соединение на каждом изображении или есть оптимизированный способ для этого?

   -> Да, вы должны сделать все это вручную. Определение местоположения руки, определение количества точек, которые нужно описать формой.

2. В модели DLib каждая позиция лицевого ориентира имеет конкретное значение, например, для правой брови 22, 23, 24, 25, 26 соответственно. В какой момент им дали бы эти значения?

   -> Например, на этапе обучения вам нужно 3 балла за каждый палец и 2 других балла за запястье, итого 15 + 2 = 17 баллов. Зависит от того, как вы определили, какие точки принадлежат какому пальцу, например, точки от [0] до точки [2] предназначены для большого пальца. и т. д.

3. Достаточно ли будет обучения этих изображений с помощью сценария обучения предиктора формы DLib или мне придется обучать модель и на других платформах (например, Tensorflow + Keras)?

   -> С помощью dlib вы можете делать все.