Библиотека вычислений Arm - Canny Edge возвращает непригодные данные из импортированного изображения opencv

Question

Я работаю с библиотекой arm compute link , чтобы преобразовать приложение opencv в более эффективную базу кода.

Я хотел бы импортировать данные из мата opencv, который я 'мы сделали успешно, выполнив this .

arm_compute::Image matACL;
matACL.allocator()->init(arm_compute::TensorInfo(mat.cols, mat.rows, arm_compute::Format::U8)); // Initialise tensor's dimensions
matACL.allocator()->import_memory(arm_compute::Memory(mat.data)); //Allocate the image without any padding.

//matACL.allocator()->import_memory(arm_compute::Memory(new cvMatData(mat.data)));

. Осторожно, версии ACL 18.05 и выше нуждаются в реализованном интерфейсе памяти, для которого я создал gist .Это закомментированная строка выше.

Я могу запускать различные операции над изображением (например, с порогом или гауссом), и я вижу правильный вывод в окне opencv, но всякий раз, когда я использую детектор контуров, я получаюиспортил выходное изображение.Я недавно выпустил github , но они также не смогли найти решение.

Я реализовал Canny Edge неон, как это сделано в файле NECannyEdge.cpp, чтобы лучшепонять, что происходит.Я копирую данные результата в OpenCV Mat и сохраняю указатель на него следующим образом.

Вот как я конвертирую результат обратно в OpenCV Mat:

ptr = (unsigned char*)malloc(mat.cols*mat.rows*sizeof(unsigned char));

for(unsigned int z = 0 ; z < 0 ; ++z)
{
    for (unsigned int y = 0; y < mat.rows; ++y)
    {
        memcpy(ptr + z * (mat.cols * mat.rows) + y * mat.cols, matACL.buffer() +
        matACL.info()->offset_element_in_bytes(Coordinates(0, y, z)), mat.cols * 
        sizeof(unsigned char));
    }
}

иальтернатива:

Window output_window;
output_window.use_tensor_dimensions(shape, Window::DimY);
Iterator output_it(&matACL, output_window);
execute_window_loop(output_window,
[&](const Coordinates & id)
{
    memcpy(ptr + id.z() * (mat.cols * mat.rows) + id.y() * mat.cols, output_it.ptr(), mat.cols * sizeof(unsigned char));
}, output_it);

На изображении иногда показан верный результат обработки, но в большинстве случаев это случайные, возможно, незаконченные данные.

Я проверил, может ли это быть состояние гонки, но реализация должна быть однопоточной, и я не могу понять, где проблема.У кого-нибудь есть идея?

Как я могу успешно использовать данные из изображения opencv для использования в детекторе краев Canny библиотеки вычислений arm?Может быть, есть какие-то шаги при импорте, которые я пропустил?

Спасибо, привет

Answer 1

Я обнаружил, где я ошибался, и разработал эту функцию, которая создает мат OpenCV из образа ACL:

void ACLImageToMat(arm_compute::Image &aCLImage, cv::Mat &cVImage, std::unique_ptr<uint8_t[]> &cVImageDataPtr)
{
    size_t width  = aCLImage.info()->valid_region().shape.x();
    size_t height = aCLImage.info()->valid_region().shape.y();

    cVImageDataPtr = std::make_unique < uint8_t[]>(width*height);
    auto ptr_src = aCLImage.buffer();


    arm_compute::Window input_window;
    input_window.use_tensor_dimensions(aCLImage.info()->tensor_shape());
    arm_compute::Iterator input_it(&aCLImage, input_window);
    int counter = 0;
    arm_compute::execute_window_loop(input_window,
        [&](const arm_compute::Coordinates & id)
        {
            *reinterpret_cast<uint8_t *>(cVImageDataPtr.get() + counter++) = ptr_src[aCLImage.info()->offset_element_in_bytes(id)];
        },
        input_it);


    cVImage = cv::Mat(cVImage.rows, cVImage.cols, CV_8UC1, cVImageDataPtr.get());
}

Чтобы инициализировать это для Canny, я сделал следующее:

    arm_compute::Image matACL;
    matACL.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));
    matACL.allocator()->import_memory(arm_compute::Memory(eye.data));

    arm_compute::Image matACLCanny;
    matACLCanny.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));

    arm_compute::NECannyEdge canny {};
    canny.configure(&matACL, &matACLCanny, 300, 150, 3, 1, arm_compute::BorderMode::REPLICATE);

    matACLCanny.allocator()->allocate();

    canny.run();

ВАЖНО вызывать функцию allocate для выходного изображения ПОСЛЕ настройки детектора краев Canny.Я нашел это где-то в документации ACL некоторое время назад, но не могу вспомнить, где именно.

Надеюсь, это поможет кому-то, кто наткнется на преобразование изображений между ACL и OpenCV!