Камера Kinect RGB получает обрезанное изображение вместо полного изображения с помощью opencv - PullRequest
Новая
       64

Камера Kinect RGB получает обрезанное изображение вместо полного изображения с помощью opencv

1 голос
/ 29 января 2020

Я пытаюсь извлечь изображения RGB и глубины из Microsoft Kinect V1, я также использую OpenCV 3.4 для отображения изображения из Kinect. Это следующий код, я использую драйвер libfreenect для Ubuntu и OpenCV: 

#include <stdio.h>
#include <string.h>
#include <math.h>
#include <libfreenect/libfreenect.hpp>
#include <pthread.h>
#define CV_NO_BACKWARD_COMPATIBILITY
#include <opencv2/opencv.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>

#define FREENECTOPENCV_WINDOW_D "Depthimage"
#define FREENECTOPENCV_WINDOW_N "Normalimage"
#define FREENECTOPENCV_RGB_DEPTH 3
#define FREENECTOPENCV_DEPTH_DEPTH 1
#define FREENECTOPENCV_RGB_WIDTH 640
#define FREENECTOPENCV_RGB_HEIGHT 480
#define FREENECTOPENCV_DEPTH_WIDTH 640
#define FREENECTOPENCV_DEPTH_HEIGHT 480

using namespace cv;
using namespace std;

Mat depthimg, rgbimg, tempimg, canny_temp, canny_img;

pthread_mutex_t mutex_depth = PTHREAD_MUTEX_INITIALIZER;
pthread_mutex_t mutex_rgb = PTHREAD_MUTEX_INITIALIZER;
pthread_t cv_thread;

// callback for depthimage, called by libfreenect
void depth_cb(freenect_device *dev, void *depth, uint32_t timestamp)

{
    Mat depth8;
    Mat mydepth = Mat( FREENECTOPENCV_DEPTH_WIDTH,FREENECTOPENCV_DEPTH_HEIGHT, CV_16UC1, depth);

    mydepth.convertTo(depth8, CV_8UC1, 1.0/4.0);
    pthread_mutex_lock( &mutex_depth );
    memcpy(depthimg.data, depth8.data, 640*480);
    // unlock mutex
    pthread_mutex_unlock( &mutex_depth );

}

// callback for rgbimage, called by libfreenect

void rgb_cb(freenect_device *dev, void *rgb, uint32_t timestamp)
{

    // lock mutex for opencv rgb image
    pthread_mutex_lock( &mutex_rgb );
    memcpy(rgbimg.data, rgb, 640*480);
    // unlock mutex
    pthread_mutex_unlock( &mutex_rgb );
}

/*
 * thread for displaying the opencv content
 */
void *cv_threadfunc (void *ptr) {
    depthimg = Mat(FREENECTOPENCV_DEPTH_HEIGHT, FREENECTOPENCV_DEPTH_WIDTH, CV_8UC1);
    rgbimg = Mat(FREENECTOPENCV_RGB_HEIGHT, FREENECTOPENCV_RGB_WIDTH, CV_8UC3);
    tempimg = Mat(FREENECTOPENCV_RGB_HEIGHT, FREENECTOPENCV_RGB_WIDTH, CV_8UC3);
    canny_img = Mat(FREENECTOPENCV_RGB_HEIGHT, FREENECTOPENCV_RGB_WIDTH, CV_8UC1);
    canny_temp = Mat(FREENECTOPENCV_DEPTH_HEIGHT, FREENECTOPENCV_DEPTH_WIDTH, CV_8UC3);

    // use image polling
    while (1)
    {
        //lock mutex for depth image
        pthread_mutex_lock( &mutex_depth );

        imshow(FREENECTOPENCV_WINDOW_D,depthimg);
        pthread_mutex_unlock( &mutex_depth );

        //lock mutex for rgb image
        pthread_mutex_lock( &mutex_rgb );

        cvtColor(rgbimg,tempimg,CV_BGR2RGB);
        cvtColor(tempimg, canny_img, CV_BGR2GRAY);

        imshow(FREENECTOPENCV_WINDOW_N, rgbimg);

        //unlock mutex
        pthread_mutex_unlock( &mutex_rgb );

        // wait for quit key
        if(cvWaitKey(15) == 27)
            break;

    }
    pthread_exit(NULL);

    return NULL;

}

int main(int argc, char **argv)
{

    freenect_context *f_ctx;
    freenect_device *f_dev;

    int res = 0;
    int die = 0;
    printf("Kinect camera test\n");

    if (freenect_init(&f_ctx, NULL) < 0)
    {
        printf("freenect_init() failed\n");
        return 1;
    }

    if (freenect_open_device(f_ctx, &f_dev, 0) < 0)
    {
        printf("Could not open device\n");
        return 1;
    }

    freenect_set_depth_callback(f_dev, depth_cb);
    freenect_set_video_callback(f_dev, rgb_cb);
    //freenect_set_video_format(f_dev, FREENECT_VIDEO_RGB);

    // create opencv display thread
    res = pthread_create(&cv_thread, NULL, cv_threadfunc, NULL);
    if (res)
    {
        printf("pthread_create failed\n");
        return 1;
    }
    printf("init done\n");

    freenect_start_depth(f_dev);
    freenect_start_video(f_dev);

    while(!die && freenect_process_events(f_ctx) >= 0 );
}

Это результат Kinect: результат

Почему выход из RGB камеры обрезается пополам? Любая помощь будет оценена.

1 Ответ

0 голосов
/ 30 января 2020

Я видел похожее поведение, работая над мобильными приложениями с OpenCV и пытаясь отобразить результаты. Я не могу полностью понять, в чем проблема, но кажется, что «испорченная» версия изображения показывается, когда вы предварительно выделяете память для матрицы (из предыдущей операции), которую вы итеративно повторно используете в блоке кода.

Например, вы готовите коврик для хранения постоянного потока видеокадров и постоянно используете его в al oop. Я не уверен, что это твой случай. Можете ли вы записать свое изображение на диск и посмотреть, является ли этот результат также "обрезанным"?

...