Если цвета линий заданы, вы можете определить цветовой диапазон и отфильтровать изображение.
Вот пример кода (не мой; взят с этого сайта: https://pythonprogramming.net/color-filter-python-opencv-tutorial/ )
lower_red = np.array([30,150,50])
upper_red = np.array([255,255,180])
mask = cv2.inRange(hsv, lower_red, upper_red)
res = cv2.bitwise_and(frame,frame, mask= mask)
cv2.imshow('frame',frame)
cv2.imshow('mask',mask)
cv2.imshow('res',res)