Как получить образ OpenCV из Python и использовать его в C ++ в pybind11?

Question

Я пытаюсь выяснить, как можно получить изображение OpenCV из Python в C ++. Я пытаюсь отправить функцию обратного вызова из C ++ в мой модуль Python, а затем, когда я вызываю конкретный метод c python в моем приложении C ++, я могу получить доступ к необходимому изображению.

Прежде чем добавить больше деталей, мне нужно добавить, что в этом отношении уже есть несколько вопросов, в том числе:

1. как конвертировать-opencv-image-data-from- python -to- c
2. pass-image-data-from- python -to-cvmat-in- c
3. запись- python -привязки-для-c -код-для-использования-opencv
4. c -конверсия из-numpy -за массив -mat-opencv

, но ни у одного из них нет ничего о Pybind11. Фактически все они используют PyObject (из заголовка Python.h) с Boost.Python и без него. Итак, моя первая попытка - узнать, как это возможно в Pybind11, зная, что он поддерживает Numpy массивов, поэтому можно надеяться, что все будет намного проще.

Также на стороне C++, OpenCV имеет две версии, 3.x и 4.x, и 4.x, как я недавно обнаружил, соответствует C++11. на стороне Python я использовал OpenCV 3.x, и я нахожусь на перекрестке того, какой из них выбрать и какие последствия это имеет, когда дело доходит до Pybind11.

То, что я пробовал до сих пор: я сделал быстрый фиктивный обратный вызов и попытался передать простой cv::Mat&, например:

#include <pybind11/embed.h>
#include <pybind11/numpy.h>
#include <pybind11/stl.h>
#include <pybind11/functional.h>
namespace py = pybind11;
...

void cpp_callback1(bool i, std::string id, cv::Mat img)
{ 
    auto timenow = chrono::system_clock::to_time_t(chrono::system_clock::now());
    cout  <<"arg1: " << i << " arg2: " << id<<" arg3: " << typeid(img).name() <<" " << ctime(&timenow)<<endl;
}

, и использовал его так:

py::list callback_lst;
callback_lst.attr("append")(py::cpp_function(cpp_callback1));

py::dict core_kwargs = py::dict("callback_list"_a = callback_lst,
                                "debug_show_feed"_a = true);

py::object core_obj = core_cls(**core_kwargs);
core_obj.attr("start")();

, но происходит сбой, за исключением python части, которая гласит:

29/03/2020 21:56:47 : exception occured ("(): incompatible function arguments. The following argument types are supported:\n    1. (arg0: bool, arg1: str, arg2: cv::Mat) -> None\n\nInvoked with: True, '5', array([[[195, 217, 237],\n        [195, 217, 237],\n        [196, 218, 238],\n        ...,\n        [211, 241, 255],\n        [211, 241, 255],\n        [211, 241, 255]],\n\n       [[195, 217, 237],\n        [195, 217, 237],\n        [195, 217, 237],\n        ...,\n        [211, 241, 255],\n        [211, 241, 255],\n        [211, 241, 255]],\n\n       [[195, 217, 237],\n        [195, 217, 237],\n        [195, 217, 237],\n        ...,\n        [211, 241, 255],\n        [211, 241, 255],\n        [211, 241, 255]],\n\n       ...,\n\n       [[120, 129, 140],\n        [110, 120, 130],\n        [113, 122, 133],\n        ...,\n        [196, 209, 245],\n        [195, 207, 244],\n        [195, 207, 244]],\n\n       [[120, 133, 142],\n        [109, 121, 130],\n        [114, 120, 131],\n        ...,\n        [195, 208, 242],\n        [195, 208, 242],\n        [195, 208, 242]],\n\n       [[121, 134, 143],\n        [106, 119, 128],\n        [109, 114, 126],\n        ...,\n        [194, 207, 241],\n        [195, 208, 242],\n        [195, 208, 242]]], dtype=uint8)",) 
Traceback (most recent call last):
  File "C:\Users\Master\Anaconda3\Lib\site-packages\F\utils.py", line 257, in start
    self._main_loop()
  File "C:\Users\Master\Anaconda3\Lib\site-packages\F\utils.py", line 301, in _main_loop
    self._execute_callbacks(is_valid, name, frame)
  File "C:\Users\Master\Anaconda3\Lib\site-packages\F\utils.py", line 142, in _execute_callbacks
    callback(*args)
TypeError: (): incompatible function arguments. The following argument types are supported:
    1. (arg0: bool, arg1: str, arg2: cv::Mat) -> None

Invoked with: True, '5', array([[[195, 217, 237],
        [195, 217, 237],
        [196, 218, 238],
        ...,
        [211, 241, 255],
        [211, 241, 255],
        [211, 241, 255]],

       [[195, 217, 237],
        [195, 217, 237],
        [195, 217, 237],
        ...,

Использование py::object или py::array_t<uint8_t> вместо cv::Mat не вызывает никаких ошибок, но я не могу Похоже, вы нашли способ вернуть их к cv::Mat правильно!

Я попытался преобразовать массив numpy в cv::Mat, как указано в комментариях, но вывод мусора:

void cpp_callback1(bool i, std::string id, py::array_t<uint8_t>& img)
{ 
    auto im = img.unchecked<3>();
    auto rows = img.shape(0);
    auto cols = img.shape(1);
    auto type = CV_8UC3;

    //py::buffer_info buf = img.request();
    cv::Mat img2(rows, cols, type, img.ptr());
    cv::imshow("test", img2);
}

приводит к:

Мне кажется, что шаги или что-то в этом направлении испорчены, что изображение показывает вот так. что я тут не так делаю? Я не мог использовать img.strides (), хотя! при печати с использованием py :: print он показывает 960 или что-то в этом роде. Так что я совершенно не знаю, как это интерпретировать!

Answer 1

Я, в конечном счете, мог бы успешно заставить это работать благодаря @ DanMasek и этой ссылке :

void cpp_callback1(bool i, std::string id, py::array_t<uint8_t>& img)
{ 
    py::buffer_info buf = img.request();
    cv::Mat mat(buf.shape[0], buf.shape[1], CV_8UC3, (unsigned char*)buf.ptr);

    cv::imshow("test", mat);
}

, отметим, что приведение необходимо или иначе, вы получите только экран blacki sh!
Однако, если каким-то образом был способ, подобный py::return_value_policy, который мы могли бы использовать для изменения типа ссылки, так что даже если часть python заканчивается, c ++ side не обработает sh было бы замечательно.

примечание:
кажется, что свойство ptr, представленное в массиве numpy, на самом деле не py::handle, а PyObject*&. У меня не было успешной конверсии, поэтому я прибег к решению, которое я разместил выше. Я обновлю этот ответ, когда выясню это.

Обновление:

Я обнаружил, что массивы data содержат указатель на базовый буфер и могут также использоваться легко. От <pybind11/numpy.h> L681:

/// Pointer to the contained data. If index is not provided, points to the
/// beginning of the buffer. May throw if the index would lead to out of bounds access.

Так что мой оригинальный код, который использовал img.ptr(), может работать с использованием img.data(), например:

void cpp_callback1(bool i, std::string id, py::array_t<uint8_t>& img)
{ 
    //auto im = img.unchecked<3>();
    auto rows = img.shape(0);
    auto cols = img.shape(1);
    auto type = CV_8UC3;

    cv::Mat img2(rows, cols, type, (unsigned char*)img.data());
    cv::imshow("test", img2);
}