Azure Kinect Crop Out Body, используя индексную карту тела

Question

Я использую Azure DK для чтения файла MKV, где я могу извлечь RGBA и соответствующее изображение глубины для каждого кадра. После этого я использую трекер тела, чтобы находить и отслеживать людей, используя изображение глубины. В настоящее время я могу сгенерировать индексную карту тела и даже преобразовать ее в пространство цветной камеры, как показано ниже.

k4a::image extract_body_index_map(tracker& object_tracker)
{
    k4a::image body_index_map = k4a::image();

    k4abt::frame body_frame = object_tracker.pop_result();

    if (body_frame != nullptr)
    {
        uint32_t bodies = body_frame.get_num_bodies();

        cout << "Bodies Found: " << bodies << "\n";

        for (uint32_t index = 0; index < bodies; ++index)
        {
            k4abt_body_t body = body_frame.get_body(index);

            cout << "\tPERSON: " << body.id << "\n";
            body_index_map = body_frame.get_body_index_map();
        }
    }
    else { cerr << "ERROR: Body Pop Out Timeout\n\n"; }

    return body_index_map;
}

k4a::image convert_body_index_map_to_colour(k4a::image& body_index_map, k4a::image& depth, k4a::image& colour, k4a_transformation_t transformation)
{
    k4a_image_t depth_image_in_colour_space = nullptr;

    k4a_result_t result = k4a_image_create(K4A_IMAGE_FORMAT_DEPTH16, 
        colour.get_width_pixels(), colour.get_height_pixels(), 
        colour.get_width_pixels() * (int)sizeof(uint16_t), &depth_image_in_colour_space);

    if (result == K4A_RESULT_FAILED)
    {
        cerr << "ERROR: Failed to create depth image in colour space\n";
        return nullptr;
    }

    k4a_image_t body_index_in_colour_space = nullptr;

    result = k4a_image_create(K4A_IMAGE_FORMAT_CUSTOM8,
        colour.get_width_pixels(), colour.get_height_pixels(),
        colour.get_width_pixels() * (int)sizeof(uint8_t), &body_index_in_colour_space);

    if (result == K4A_RESULT_FAILED)
    {
        cerr << "ERROR: Failed to create body index map in colour space\n";
        return nullptr;
    }


    result = k4a_transformation_depth_image_to_color_camera_custom(transformation, depth.handle(),
        body_index_map.handle(), depth_image_in_colour_space, body_index_in_colour_space,
        K4A_TRANSFORMATION_INTERPOLATION_TYPE_NEAREST, K4ABT_BODY_INDEX_MAP_BACKGROUND);

    if (result == K4A_RESULT_FAILED)
    {
        cerr << "ERROR: Failed to transform body index map to colour space\n";
        return nullptr;
    }

    return k4a::image(body_index_in_colour_space);
}

В настоящее время я застрял на том, как:

1. Используйте созданную индексную карту тела, чтобы обрезать / сегментировать / вытянуть цветное изображение для извлечения визуального представления тела. Я очень хочу повторить this ; часть с изображениями RGBA

2. Преобразование обрезанного изображения в 2D-изображение RGBA

Любая помощь будет в значительной степени оценил:)

Answer 1

После возни мне наконец удалось решить эту проблему. Я переключился на OpenCV для работы с изображениями.

Сначала я преобразовал body_index_in_colour_space в OpenCV Mat

Mat convertToMat(k4a::image kinect_image)
{
    uint8_t* pixel_data = kinect_image.get_buffer();

    if (pixel_data != nullptr) return Mat(kinect_image.get_height_pixels(), kinect_image.get_width_pixels(), CV_8UC4, (void*)pixel_data, Mat::AUTO_STEP);

    return Mat();
}

Я преобразовал изображение kinect BGRA в OpenCV Мат, также аналогичным образом, изменив флаг с CV_8UC1 на CV_8UC4. После этого я просто нарисовал индексную карту поверх цветного изображения.

Mat drawIndexMapOnColourImage(Mat indexMap, Mat colour)
{
    Mat result;
    colour.copyTo(result);

    //TODO: Not efficient, fix this
    for(size_t row = 0; row < indexMap.rows; ++row)
        for (size_t col = 0; col < indexMap.cols; ++col)
        {
            if ((int)indexMap.at<uchar>(row, col) == 255) continue; // ignore background

            result.at<Vec4b>(row, col) = 150;
        }

    return result;
}