Наложение на камеру с использованием JS на стороне клиента - PullRequest
0 голосов
/ 11 апреля 2019

Я пытаюсь провести анализ изображения по чьей-то индурации (красному пятну переменного размера на коже) после прохождения теста на туберкулез, чтобы точно определить размер.

В настоящее время я использую NodeJS в качестве бэкэнда / веб-сервера, предоставляющего интерфейс панели мониторинга и помещающего изображения в скрипт Python, который использует OpenCV, чтобы взять самый левый объект и заданный аргумент эталонного размера, например 0,955 дюйма, на четвертьи использовать эту шкалу для измерения других обнаруженных объектов, таких как индурация.

Проблема, с которой я сталкиваюсь, заключается в том, что красное пятно (уплотнение) не определяется должным образом, а четверть (контрольный объект).Я сделал дрянное исправление, нарисовав линию вокруг индурации и перезапустив программу, и, очевидно, на этот раз она правильно распознала индурацию с правильным размером.

Поскольку это не курс по анализу изображений, и я действительноПонятия не имею, как оптимизировать эту программу, которую я пытался выяснить, чтобы предоставить пользователю интерфейс для обозначения индурации, такой как круг с изменяемым размером, который они могли бы плотно расположить вокруг своей индурации.

Я не видел примеров, чтобы сделать это напрямую, используя функциональность getUserMedia () на клиентской стороне JS, и интересовался, как это сделать или посмотреть, существует ли уже какая-то библиотека, которая может помочь с этим.Другим вариантом было бы для пользователя сделать снимок с индурацией и четвертью, а затем на следующем шаге теста на приборной панели пользователь может каким-то образом нарисовать свое изображение (обвести быстрый круг вокруг индурации).

Я видел только способы статического рисования чего-либо на холсте без динамического изменения размера и перетаскивания объекта поверх изображения.

Оцените любой ввод

РЕДАКТИРОВАТЬ: Это является образцом изображения.

Вот код в настоящее время:

    from __future__ import print_function
    from scipy.spatial import distance as dist
    from imutils import perspective
    from imutils import contours
    #from mysql.connector import errorcode
    from datetime import date, datetime, timedelta
    import numpy as np
    import argparse
    import imutils
    import cv2
    #import mysql.connector
    import os
        # construct the argument parse and parse the arguments
        ap = argparse.ArgumentParser()
        ap.add_argument("-i", "--image", required=True,
            help="path to the input image")
        ap.add_argument("-w", "--width", type=float, required=True,
            help="width of the left-most object in the image (in inches)")
        ap.add_argument("-u", "--user", required=True,
            help="Username of ")
        args = vars(ap.parse_args())



    # load the image, convert it to grayscale, and blur it slightly
    image = cv2.imread(args["image"])
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    gray = cv2.GaussianBlur(gray, (7, 7), 0)

    # perform edge detection, then perform a dilation + erosion to
    # close gaps in between object edges
    edged = cv2.Canny(gray, 50, 100)
    edged = cv2.dilate(edged, None, iterations=1)
    edged = cv2.erode(edged, None, iterations=1)

    # find contours in the edge map
    cnts = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL,
        cv2.CHAIN_APPROX_SIMPLE)
    cnts = imutils.grab_contours(cnts)

    # sort the contours from left-to-right and initialize the
    # 'pixels per metric' calibration variable
    (cnts, _) = contours.sort_contours(cnts)
    pixelsPerMetric = None
    countourCount = 0
    # loop over the contours individually
    for c in cnts:


        # if the contour is not sufficiently large, ignore it
        if cv2.contourArea(c) < 200:
            continue
        countourCount=countourCount+1
        print(countourCount)
        if countourCount == 1:
            print('This is the scaling reference, should be: '+ str(args["width"]))
        # compute the rotated bounding box of the contour
        orig = image.copy()
        box = cv2.minAreaRect(c)
        box = cv2.cv.BoxPoints(box) if imutils.is_cv2() else cv2.boxPoints(box)
        box = np.array(box, dtype="int")

        # order the points in the contour such that they appear
        # in top-left, top-right, bottom-right, and bottom-left
        # order, then draw the outline of the rotated bounding
        # box
        box = perspective.order_points(box)
        cv2.drawContours(orig, [box.astype("int")], -1, (0, 255, 0), 2)

        # loop over the original points and draw them
        for (x, y) in box:
            cv2.circle(orig, (int(x), int(y)), 5, (0, 0, 255), -1)

        # unpack the ordered bounding box, then compute the midpoint
        # between the top-left and top-right coordinates, followed by
        # the midpoint between bottom-left and bottom-right coordinates
        (tl, tr, br, bl) = box
        print(box)
        (tltrX, tltrY) = midpoint(tl, tr)
        (blbrX, blbrY) = midpoint(bl, br)

        # compute the midpoint between the top-left and bottom-left points,
        # followed by the midpoint between the top-righ and bottom-right
        (tlblX, tlblY) = midpoint(tl, bl)
        (trbrX, trbrY) = midpoint(tr, br)

        # draw the midpoints on the image
        cv2.circle(orig, (int(tltrX), int(tltrY)), 5, (255, 0, 0), -1)
        cv2.circle(orig, (int(blbrX), int(blbrY)), 5, (255, 0, 0), -1)
        cv2.circle(orig, (int(tlblX), int(tlblY)), 5, (255, 0, 0), -1)
        cv2.circle(orig, (int(trbrX), int(trbrY)), 5, (255, 0, 0), -1)

        # draw lines between the midpoints
        cv2.line(orig, (int(tltrX), int(tltrY)), (int(blbrX), int(blbrY)),
            (255, 0, 255), 2)
        cv2.line(orig, (int(tlblX), int(tlblY)), (int(trbrX), int(trbrY)),
            (255, 0, 255), 2)

        # compute the Euclidean distance between the midpoints
        dA = dist.euclidean((tltrX, tltrY), (blbrX, blbrY))
        dB = dist.euclidean((tlblX, tlblY), (trbrX, trbrY))

        # if the pixels per metric has not been initialized, then
        # compute it as the ratio of pixels to supplied metric
        # (in this case, inches)
        if pixelsPerMetric is None:
            pixelsPerMetric = dB / args["width"]

        # compute the size of the object
        dimA = dA / pixelsPerMetric
        dimB = dB / pixelsPerMetric

        # draw the object sizes on the image
        cv2.putText(orig, "{:.1f}in".format(dimA),
            (int(tltrX - 15), int(tltrY - 10)), cv2.FONT_HERSHEY_SIMPLEX,
            0.65, (255, 255, 255), 2)
        cv2.putText(orig, "{:.1f}in".format(dimB),
            (int(trbrX + 10), int(trbrY)), cv2.FONT_HERSHEY_SIMPLEX,
            0.65, (255, 255, 255), 2)

        # show the output image
        cv2.imshow("Image", orig)


        cv2.imwrite(os.path.join('/Users/Ooga/Desktop/Skin-Analyzer/pythonServer/components/'+str(args["user"]) , 'component'+str(countourCount)+'.jpg'), orig)
        cv2.waitKey(0)

    # Make sure data is committed to the database
    #   cnx.commit()


Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...