Как я могу сгладить процесс определения порога в режиме реального времени?

Question

Во-первых, я хочу найти изменение времени капания воды в ткань с помощью камеры. После этого алгоритм обнаружит движение воды до ткани после того, как этот алгоритм обнаружит движение до полного поглощения воды, и построит график изменения времени с указанием времени поглощения, площадь и т.д ..

Для обнаружения движения я использовал функцию absdif с постоянной скоростью изменения. И я беру время начала определения кадра до конца , как на этом изображении . Здесь нет проблем. Но для того, чтобы Для расчета поглощения воды я пороговую рамку и использовать функцию countNonZero для расчета количества черного пикселя. Но здесь есть одна проблема: черные пиксели, которые показывают красные линии пороговых изображений , непрерывно изменяются (например, встряхивание, вибрация и т. Д.). Так что процесс построения не удаётся.

Попробуйте

1. Я пытался изменить устройство веб-камеры (с помощью камеры телефона от İpcam)
2. Я пытался адаптивным пороговым методом (отсу и т. Д.) Найти оптимальный порог
3. Сглаживание условий молнии и захват без фона

Успех

1. Когда я использую видео, снятое камерой телефона, в качестве входных данных, эффекты дрожания и вибрации уменьшаются, и я могу достичь успеха этот график как ожидается

ВОПРОС

• Как сгладить пороговое изображение в режиме реального времени
• Другой подход

Код

import cv2
from datetime import datetime
import numpy as np
import matplotlib.pyplot as plt
import operator

def pixelHesaplayici(x):
    siyaholmayanpixel=cv2.countNonZero(x)
    height,width=x.shape
    toplampixel=height*width
    siyahpixelsayisi=toplampixel-siyaholmayanpixel
    return siyahpixelsayisi

def grafikciz(sure,newblackpixlist,maxValue,index,totaltime,cm):
    plt.figure(figsize=(15,15))
    plt.plot(sure,newblackpixlist)
    line,=plt.plot(sure,newblackpixlist)
    plt.setp(line,color='r')
    plt.text(totaltime/2,maxValue/2, r'$Max- 
    Pixel=%d$'%maxValue,fontsize=14,color='r')
    plt.text(totaltime/2,maxValue/2.5, r'$Max-emilim- 
    zamanı=%f$'%sure[index],fontsize=14,color='b')
    plt.text(totaltime/2,maxValue/3, r'$Max- 
    Alan=%fcm^2$'%cm,fontsize=14,color='g')
    plt.ylabel('Black Pixels')
    plt.xlabel('Time(s)')
    plt.grid(True)
    plt.show()


static_back=None
i=0
blackpixlist=[]
newblackpixlist=[]

t=[]
video=cv2.VideoCapture("kumas1.mp4")

while(True):
    ret,frame=video.read()

    if ret==True:
        gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
        gray=cv2.GaussianBlur(gray,(5,5),0)
        _,threshforgraph=cv2.threshold(gray,0,255,
       cv2.THRESH_BINARY+cv2.THRESH_OTSU)
        if static_back is None:
            static_back=gray
            continue
        diff_frame=cv2.absdiff(static_back,gray)

        threshfortime=cv2.threshold(diff_frame,127,255,cv2.THRESH_BINARY)[1]
        #threshfortime=cv2.dilate(threshfortime,None,iterations=2)
        (_,cnts,_)=cv2.findContours(threshfortime.copy(),
                               cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

        for contour in cnts:
            if cv2.contourArea(contour)<450:
                continue
            an=datetime.now()
            t.append(an.minute*60+an.second+(an.microsecond/1000000))
            cv2.fillPoly(frame,contour, (255,255,255), 8,0)
            cv2.imwrite("samples/frame%d.jpg"%i,threshforgraph)


            i+=1


        cv2.imshow("org2",frame)
        #cv2.imshow("Difference Frame",diff_frame)
        #cv2.imshow("Threshold Frame",threshfortime)
        #cv2.imshow("Threshforgraph",threshforgraph)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break
ti=t[1::3]

lasttime=ti[-1]
firsttime=ti[-len(ti)]
totaltime=lasttime-firsttime

for i in range(0,i):
        img=cv2.imread('samples/frame%d.jpg'%i,0)
        blackpixlist.append(pixelHesaplayici(img))
ilkpix=blackpixlist[0]

for a in blackpixlist:
    newblackpixlist.append(a-ilkpix)
newblackpixlisti=newblackpixlist[1::3]  
index , maxValue=max(enumerate(newblackpixlisti),
key=operator.itemgetter(1))
sure=np.linspace(0,totaltime,len(newblackpixlisti))
cm=0.0007*maxValue # For 96 dpi

grafikciz(sure,newblackpixlisti,maxValue,index,totaltime,cm)

Answer 1

Как насчет вычитания первого кадра из следующих кадров? Если вы можете знать или можете обнаружить, когда нет падения, и вычесть его, разница даст вам только результат падения.

Этот подход может быть интересен также, если у вас есть несколько капель в разных местах и ​​вы хотите отказаться от предыдущей капли. Обратите внимание, что вы можете делать вычитание до и после установки порога. Я бы порекомендовал перед порогом.

Если вы знаете, что у вас много тряски в процессе, вам, вероятно, нужно применить цифровую стабилизацию, и в этом случае я бы посоветовал взглянуть на этот урок: https://www.learnopencv.com/video-stabilization-using-point-feature-matching-in-opencv/

Конечно, стабилизация должна быть сделана до вычитания.

В общем, для вашей проблемы я бы не использовал адаптивный метод. Порог должен быть одинаковым для всех кадров, если он адаптируется в зависимости от изображения, вы можете получить недопустимые результаты.

Надеюсь, я правильно понял вашу проблему!