Как обнаружить и измерить (fitEllipse) объекты на изображении SEM, используя OpenCV? - PullRequest
0 голосов
/ 09 февраля 2019

У меня есть около 30 изображений SEM (сканирующий электронный микроскоп), подобных этому:

enter image description here

То, что вы видите, - это фоторезистивные столбы на стеклянной подложке.То, что я хотел бы сделать, это получить средний диаметр в направлении х и у, а также средний период в направлении х и у.

Теперь вместо того, чтобы делать все измерения вручную, ябыло интересно, если, возможно, есть способ автоматизировать его с помощью Python и OpenCV ?

РЕДАКТИРОВАТЬ: я пробовал следующий код, кажется, работает для обнаружения кругов , но мне на самом деле нужен эллипс, , так как мне нужен диаметр в направлении x и y.

... а я пока не совсем понял, как получить шкалу?

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread("01.jpg",0)
output = img.copy()

edged = cv2.Canny(img, 10, 300)
edged = cv2.dilate(edged, None, iterations=1)
edged = cv2.erode(edged, None, iterations=1)



# detect circles in the image
circles = cv2.HoughCircles(edged, cv2.HOUGH_GRADIENT, 1.2, 100)


# ensure at least some circles were found
if circles is not None:
    # convert the (x, y) coordinates and radius of the circles to integers
    circles = np.round(circles).astype("int")

    # loop over the (x, y) coordinates and radius of the circles
    for (x, y, r) in circles[0]:
        print(x,y,r)
        # draw the circle in the output image, then draw a rectangle
        # corresponding to the center of the circle
        cv2.circle(output, (x, y), r, (0, 255, 0), 4)
        cv2.rectangle(output, (x - 5, y - 5), (x + 5, y + 5), (0, 128, 255), -1)

    # show the output image
    plt.imshow(output, cmap = 'gray', interpolation = 'bicubic')
    plt.xticks([]), plt.yticks([])  # to hide tick values on X and Y axis
    plt.figure()
    plt.show()

enter image description here

Источник вдохновения: https://www.pyimagesearch.com/2014/07/21/detecting-circles-images-using-opencv-hough-circles/

Ответы [ 3 ]

0 голосов
/ 13 февраля 2019

Я редко нахожу Hough полезным для приложений реального мира, поэтому я предпочел бы идти по пути шумоподавления, сегментации и подбора эллипса.

Для шумоподавления выбирают нелокальные средние (NLM).Для сегментации - просто глядя на изображение - я придумал модель гауссовой смеси с тремя классами: один для фона и два для объекта (рассеянный и зеркальный компонент).Здесь модель смешения по существу моделирует форму гистограммы изображения грайского уровня тремя гауссовыми функциями (как показано в смесь-гистограмма Википедии gif ).Заинтересованный читатель перенаправляется на статью в Википедии .

Подгонка эллипса в конце - это просто элементарный OpenCV-инструмент.

В C ++, но аналог OpenCV-Python

#include "opencv2/ml.hpp"
#include "opencv2/photo.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
void gaussianMixture(const cv::Mat &src, cv::Mat &dst, int nClasses )
{
    if ( src.type()!=CV_8UC1 )
        CV_Error(CV_StsError,"src is not 8-bit grayscale");

    // reshape
    cv::Mat samples( src.rows * src.cols, 1, CV_32FC1 );
    src.convertTo( cv::Mat( src.size(), CV_32FC1, samples.data ), CV_32F );

    cv::Mat labels;
    cv::Ptr<cv::ml::EM> em = cv::ml::EM::create();
    em->setClustersNumber( nClasses );
    em->setTermCriteria( cv::TermCriteria(CV_TERMCRIT_ITER, 4, 0.0 ) );
    em->trainEM( samples );

    if ( dst.type()!=CV_8UC1 || dst.size()!=src.size() )
        dst = cv::Mat( src.size(),CV_8UC1 );
    for(int y=0;y<src.rows;++y)
    {
        for(int x=0;x<src.cols;++x)
        {
            dst.at<unsigned char>(y,x) = em->predict( src.at<unsigned char>(y,x) );
        }
    }
}
void automate()
{
    cv::Mat input = cv::imread( /* input image in color */,cv::IMREAD_COLOR);
    cv::Mat inputDenoised;
    cv::fastNlMeansDenoising( input, inputDenoised, 8.0, 5, 17 );
    cv::Mat gray;
    cv::cvtColor(inputDenoised,gray,cv::COLOR_BGR2GRAY );
    gaussianMixture(gray,gray,3 );

    typedef std::vector< std::vector< cv::Point > >  VecOfVec;
    VecOfVec contours;
    cv::Mat objectPixels = gray>0;
    cv::findContours( objectPixels, contours, cv::RETR_LIST, cv::CHAIN_APPROX_NONE );
    cv::Mat inputcopy; // for drawing of ellipses
    input.copyTo( inputcopy );
    for ( size_t i=0;i<contours.size();++i )
    {
        if ( contours[i].size() < 5 )
            continue;
        cv::drawContours( input, VecOfVec{contours[i]}, -1, cv::Scalar(0,0,255), 2 );
        cv::RotatedRect rect = cv::fitEllipse( contours[i] );
        cv::ellipse( inputcopy, rect, cv::Scalar(0,0,255), 2 );
    }
}

Я должен был очистить очень маленькие контуры (в секундах верхнего ряда) (больше, чем минимум 5 точек) перед рисованием эллипсов.

* править * добавленоПредиктор Python без шумов и контуров поиска.После изучения модели время прогнозирования составляет около 1,1 секунды

img = cv.imread('D:/tmp/8b3Lm.jpg', cv.IMREAD_GRAYSCALE )

class Predictor :
    def train( self, img ):
        self.em = cv.ml.EM_create()
        self.em.setClustersNumber( 3 )
        self.em.setTermCriteria( ( cv.TERM_CRITERIA_COUNT,4,0 ) )
        samples = np.reshape( img, (img.shape[0]*img.shape[1], -1) ).astype('float')
        self.em.trainEM( samples )

    def predict( self, img ):
        samples = np.reshape( img, (img.shape[0]*img.shape[1], -1) ).astype('float')
        labels = np.zeros( samples.shape, 'uint8' )
        for i in range ( samples.shape[0] ):
            retval, probs = self.em.predict2( samples[i] )
            labels[i] = retval[1] * (255/3) # make it [0,255] for imshow
        return np.reshape( labels, img.shape )

predictor = Predictor()

predictor.train( img )
t = time.perf_counter()
predictor.train( img )
t = time.perf_counter() - t
print ( "train %s s" %t )

t = time.perf_counter()
labels = predictor.predict( img )
t = time.perf_counter() - t
print ( "predict %s s" %t )

cv.imshow( "prediction", labels  )
cv.waitKey( 0 )

Denoised Contours Ellipses Mixture of Gaussians

0 голосов
/ 13 февраля 2019

Я использую cv2.ml.EM, чтобы сначала сегментировать изображение в OpenCV (Python), это стоит около 13 s.Если только fitEllipse на контурах обмолоченного изображения, это стоит 5 ms, результат может быть не таким точным.Просто компромисс.

enter image description here


Подробности:

  1. Преобразовать в оттенки серого и обмолотit

  2. Превращение в шум

  3. Поиск внешних контуров

  4. Подгонка эллипсов


Код:

#!/usr/bin/python3
# 2019/02/13 
# https://stackoverflow.com/a/54604608/54661984

import cv2
import numpy as np

fpath = "sem.png"
img = cv2.imread(fpath)

## Convert into grayscale and threshed it
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
th, threshed = cv2.threshold(gray, 120, 255, cv2.THRESH_BINARY)

## Morph to denoise
threshed = cv2.dilate(threshed, None)
threshed = cv2.erode(threshed, None)

## Find the external contours
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)[-2]
cv2.drawContours(img, cnts, -1, (255, 0, 0), 2, cv2.LINE_AA)

## Fit ellipses
for cnt in cnts:
    if cnt.size < 10 or cv2.contourArea(cnt) < 100:
        continue

    rbox = cv2.fitEllipse(cnt)
    cv2.ellipse(img, rbox, (255, 100, 255), 2, cv2.LINE_AA)

## This it
cv2.imwrite("dst.jpg", img)
0 голосов
/ 09 февраля 2019

Я бы пошел методом HoughCircles из openCV.Это даст вам все круги на изображении.Тогда будет легко вычислить радиус и положение каждого круга.

Посмотрите на: https://docs.opencv.org/3.4/d4/d70/tutorial_hough_circle.html

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...