Как использовать рукописную форму Т, которая находится на части тела, как цель и вставить изображение на нее? - PullRequest
2 голосов
/ 20 апреля 2019

Я занимаюсь разработкой проекта для моего университетского задания, в котором есть часть AR, которую я пытался сделать с Unity и Vuforia. Я хочу получить простую Т-образную форму (или любую форму, которую пользователь может легко нарисовать на части тела, например на руке) в качестве цели изображения, потому что я разрабатываю приложение, похожее на inkHunter . В этом приложении они получают смайлик в качестве цели изображения, и когда клиент рисует смайлик на теле и помещает на него камеру, камера обнаруживает это и показывает выбранный рисунок татуировки на нем. Я попробовал это с Vuforia SDK, но они дали оценку цели изображения, поэтому я не могу получить то, что хочу в качестве цели изображения. Я думаю, что использование openCV - верный способ сделать это, но это так трудно учиться, и у меня меньше времени. Я думаю, что это не очень важно для реализации, поэтому, пожалуйста, попробуйте помочь мне с этой проблемой. Я думаю, вы поняли мою идею. в inkHunter, даже если я нарисую цель на листе, на ней также будет показана татуировка. Мне нужно то же самое, что означает, что я должен обнаружить цель, на которую обращены Было бы здорово, если бы вы могли помочь мне в этой ситуации. Спасибо.

цель может быть такой,

image target

Мне удалось сопоставить шаблоны с изображениями, и я применил то же самое к реальному времени, что означает, что я перебрал кадры. Но, похоже, он не соответствует шаблону с фреймами, и я понял, что found (переменная учета) всегда None.

import cv2 as cv2
import numpy as np
import imutils


def main():

    template = cv2.imread("C:\\Users\\Manthika\\Desktop\\opencvtest\\template.jpg")
    template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
    template = cv2.Canny(template, 50, 200)
    (tH, tW) = template.shape[:2]
    cv2.imshow("Template", template)

    windowName = "Something"
    cv2.namedWindow(windowName)
    cap = cv2.VideoCapture(0)

    if cap.isOpened():
        ret, frame = cap.read()
    else:
        ret = False

    # loop over the frames to find the template
    while ret:
        # load the image, convert it to grayscale, and initialize the
        # bookkeeping variable to keep track of the matched region
        ret, frame = cap.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        found = None

        # loop over the scales of the image
        for scale in np.linspace(0.2, 1.0, 20)[::-1]:
            # resize the image according to the scale, and keep track
            # of the ratio of the resizing
            resized = imutils.resize(gray, width=int(gray.shape[1] * scale))
            r = gray.shape[1] / float(resized.shape[1])

            # if the resized image is smaller than the template, then break
            # from the loop
            if resized.shape[0] < tH or resized.shape[1] < tW:
                break

            # detect edges in the resized, grayscale image and apply template
            # matching to find the template in the image
            edged = cv2.Canny(resized, 50, 200)
            result = cv2.matchTemplate(edged, template, cv2.TM_CCOEFF)
            (_, maxVal, _, maxLoc) = cv2.minMaxLoc(result)

            # if we have found a new maximum correlation value, then update
            # the bookkeeping variable
            if found is None or maxVal > found[0]:
                found = (maxVal, maxLoc, r)
                print(found)

            # unpack the bookkeeping variable and compute the (x, y) coordinates
            # of the bounding box based on the resized ratio
        print(found)
        if found is None:
            # just show only the frames if the template is not detected
            cv2.imshow(windowName, frame)
        else:
            (_, maxLoc, r) = found
            (startX, startY) = (int(maxLoc[0] * r), int(maxLoc[1] * r))
            (endX, endY) = (int((maxLoc[0] + tW) * r), int((maxLoc[1] + tH) * r))

            # draw a bounding box around the detected result and display the image
            cv2.rectangle(frame, (startX, startY), (endX, endY), (0, 0, 255), 2)
            cv2.imshow(windowName, frame)

        if cv2.waitKey(1) == 27:
            break

    cv2.destroyAllWindows()
    cap.release()


if __name__ == "__main__":
    main()

Пожалуйста, помогите мне решить эту проблему

1 Ответ

2 голосов
/ 21 апреля 2019

Я могу намекнуть вам с частью OpenCV, но без Unity и Vuforia, надеюсь, это может помочь.

Итак, как я вижу конвейер для проекта:

  1. Определить местоположение, размер и соотношение сторон
  2. Использовать гомографию для преобразования изображения, которое должно быть нанесено поверх оригинала
  3. Наложение накладывать одно изображение поверх другого

Я предполагаю, что целью будет темная буква «Т» на белом листе бумаги, и она может появиться в разных местах бумаги, а также может сдвинуться сама бумага.

1.Определение местоположения, размера и соотношения сторон

Во-первых, вам нужно определить лист бумаги, так как вы знаете его цвет и соотношение сторон, вы можете использовать пороговое значение RGB / HSV для сегментации.Вы также можете попробовать использовать Deep / Machine Learning (некоторая похожая стратегия, например R-CNN, HOG-SVM и т. Д.), Но это займет время.Затем вы можете использовать функцию findContours () из OpenCV, чтобы получить самый большой объект.Из контура вы можете узнать местоположение, размер и соотношение сторон бумаги.

После этого вы делаете то же самое, но на листе бумаги и ищете «Т».Здесь вы можете использовать метод сопоставления с шаблоном, просто отсканировать область интереса с заранее определенной маской разных размеров или просто повторить шаги, описанные выше.

Полезным ресурсом может быть это распознавание символов кредитной картыпример.Однажды мне это очень помогло:)

2.Используйте гомографию для преобразования изображения, которое должно быть помещено поверх оригинала

. После извлечения соотношения сторон вы узнаете приблизительный размер и форму, которые должны появиться на вершине буквы «Т».Это позволит вам использовать гомогерапию для преобразования изображения, которое вы хотите наложить на «Т». Здесь - хорошее начало, вы также можете поискать в других источниках Google, их должно быть много, и, насколько мне известно, для этого в OpenCV должны быть функции.

После преобразования я бы порекомендовал вам использовать интерполяцию, поскольку после этого могут быть некоторые недостающие пиксели.

3.Наложение помещает одно изображение поверх другого

Последний шаг - просто пройти через все пиксели входного изображения и поместить преобразованное изображение поверх целевых пикселей.

Надеюсь, это поможет, удачи! :) 1045 *

...