Dlib не обнаруживает лицо в kurento opencv filter - PullRequest
Новая
       7

Dlib не обнаруживает лицо в kurento opencv filter

0 голосов
/ 18 декабря 2018

Я создал фильтр opencv, который может определить, моргает ли человек за Куренто в рамках WebRTC.Мой код работает в автономном приложении opencv.Однако, как только я перешел на фильтр opencv для Kurento, он начал воспроизводиться.Когда модуль / фильтр был скомпилирован без флагов оптимизации, он кратко определял лицо и рисовал контуры вокруг глаз.Однако после компиляции модуля / фильтра с флагами оптимизации производительность повысилась, но лица не было обнаружено.Вот код, который я имею в фильтре: 

 void BlinkDetectorOpenCVImpl::process(cv::Mat &mat) {

            std::vector <dlib::rectangle> faces;

            // Just resize input image if you want
            resize(mat, mat, Size(800, 450));

            cv_image <rgb_alpha_pixel> cimg(mat);
            dlib::array2d<unsigned char> img_gray;
            dlib::assign_image(img_gray, cimg);
            faces = detector(img_gray);
            std::cout << "XXXXXXXXXXXXXXXXXXXXX FACES: " << faces.size() << std::endl;
            std::vector <full_object_detection> shapes;
            for (unsigned long i = 0; i < faces.size(); ++i) {
                full_object_detection shape = pose_model(cimg, faces[i]);
                std::vector <Point> left_eye_points = get_points_for_eye(shape, LEFT_EYE_START, LEFT_EYE_END);
                std::vector <Point> right_eye_points = get_points_for_eye(shape, RIGHT_EYE_START, RIGHT_EYE_END);
                double left_eye_ear = get_eye_aspect_ratio(left_eye_points);
                double right_eye_ear = get_eye_aspect_ratio(right_eye_points);

                double ear = (left_eye_ear + right_eye_ear) / 2.0;

                // Draw left eye
                std::vector <std::vector<Point>> contours;
                contours.push_back(left_eye_points);
                std::vector <std::vector<Point>> hull(1);
                convexHull(contours[0], hull[0]);
                drawContours(mat, hull, -1, Scalar(0, 255, 0));

                // Draw right eye
                contours[0] = right_eye_points;
                convexHull(contours[0], hull[0]);
                drawContours(mat, hull, -1, Scalar(0, 255, 0));

                if (ear < EYE_AR_THRESH) {
                    counter++;
                } else {
                    if (counter >= EYE_AR_CONSEC_FRAMES) {
                        total++;
                        /*  std::string sJson = "{\"blink\": \"blink\"}";

                          try
                          {
                              onResult event(getSharedFromThis(), onResult::getName(), sJson);
                              signalonResult(event);
                          }
                          catch (std::bad_weak_ptr &e)
                          {
                          }*/
                    }

                    counter = 0;
                }

                cv::putText(mat, (boost::format{"Blinks: %d"} % total).str(), cv::Point(10, 30),
                            cv::FONT_HERSHEY_SIMPLEX,
                            0.7, Scalar(0, 0, 255), 2);
                cv::putText(mat, (boost::format{"EAR: %.2f"} % ear).str(), cv::Point(300, 30),
                            cv::FONT_HERSHEY_SIMPLEX,
                            0.7, Scalar(0, 0, 255), 2);
            }
        }


    } /* blinkdetector */

1 Ответ

0 голосов
/ 19 декабря 2018

Я смог решить свою проблему.Я обнаружил, что вместо изменения размера изображения до произвольного разрешения вы должны изменить его размер на половину ширины и половину высоты фактического разрешения изображения.Изменение размера изображения до меньшего размера позволяет быстро распознавать лицо Dlib.Итак, вот что я сделал, чтобы решить проблему: 

    Mat tmpMat = mat.clone();
    resize(tmpMat, tmpMat, Size(tmpMat.size().width / 2, tmpMat.size().height / 2));

Мне пришлось клонировать изображение, отправленное Куренто, в мой метод, потому что по какой-то странной причине оригинальный Мат не показывает контуры при превращении в Dlibизображение с cv_image.

...