Вызов API-интерфейса darknet из python с использованием ctypes (изображение в качестве аргумента) - PullRequest
Новая
       53

Вызов API-интерфейса darknet из python с использованием ctypes (изображение в качестве аргумента)

0 голосов
/ 18 октября 2019

Я хочу передать изображение из python в C, используя ctypes.

Я работаю с реализацией AlexeyAB API darknet: https://github.com/AlexeyAB/darknet, и я хочу захватить изображение (возможно, сделав больше обработки) в python и выполнить прогнозирование в C.

Я скомпилирован как общая библиотека ("LIBSO = 1" в make-файле). Идея состоит в том, чтобы иметь две пользовательских функции в скрипте "detector.c". Первая инициализирует сеть и сохраняет ее как глобальную переменную (работает до сих пор), а вторая функция берет изображение и прогнозирует, используя эту сеть.

Кажется, я не могу понять, как передать изображениеот Python до C. Я думаю, что я предпочел бы передать указатель на изображение, так как я думаю, что это, вероятно, будет самым быстрым решением. Мой поиск пока не дал никаких результатов.

Это мои пользовательские функции в "inder.c ": 

void init_network(char *datacfg, char *cfgfile, char *weightfile, float thresh,
    float hier_thresh)
{
    options = read_data_cfg(datacfg);
    name_list = option_find_str(options, "names", "data/names.list");
    names_size = 0;
    names = get_labels_custom(name_list, &names_size); //get_labels(name_list);
    thr = thresh;
    hier_thr = hier_thresh;
    alphabet = load_alphabet();
    net = parse_network_cfg_custom(cfgfile, 1, 1); // set batch=1
    if (weightfile) {
        load_weights(&net, weightfile);
    }
    fuse_conv_batchnorm(net);
    calculate_binary_weights(net);
    if (net.layers[net.n - 1].classes != names_size) {
        printf(" Error: in the file %s number of names %d that isn't equal to classes=%d in the file %s \n",
            name_list, names_size, net.layers[net.n - 1].classes, cfgfile);
        if (net.layers[net.n - 1].classes > names_size) getchar();
    }

}

и прогноз: 

detection * predict_network(image im, int img_width, int img_height, int image_channels, int dont_show){
    float nms = .45;    // 0.4F
    image sized;
    sized = resize_image(im, net.w, net.h);
    layer l = net.layers[net.n - 1];

    float *X = sized.data;

    double time = get_time_point();
    network_predict(net, X);

    printf("Predicted in %lf milli-seconds.\n", ((double)get_time_point() - time) / 1000);

    int nboxes = 0;
    detection *dets = get_network_boxes(&net, im.w, im.h, thr, hier_thr, 0, 1, &nboxes, 0);
    if (nms) do_nms_sort(dets, nboxes, l.classes, nms);

    draw_detections_v3(im, dets, nboxes, thr, names, alphabet, l.classes, 0);
    save_image(im, "predictions");

    free_image(im);
    free_image(sized);

    if (!dont_show) {
        wait_until_press_key_cv();
        destroy_all_windows_cv();
    }
    return dets;

}

Вотмой скрипт на python: 

import ctypes
import time
import cv2

testlib = ctypes.cdll.LoadLibrary('/home/aut/joax/github/AlexeyAB_darknet/libdarknet.so')

testlib.init_network(ctypes.create_string_buffer(b"fire.data"), ctypes.create_string_buffer(b"yolov3-tiny_fire.cfg"), ctypes.create_string_buffer(b"backup/yolov3-tiny_fire_best.weights"), ctypes.create_string_buffer(b"data/fire/img00063.png"), ctypes.c_float(0.25), ctypes.c_float(0.50), 0, 0, 0, "0", 0)
img = cv2.imread("data/fire/img00063.png")

height, width, channels = img.shape
testlib.predict_network(hex(id(img)), width, height, channels, 1)
testlib.release_network()

Это не совсем "минимально воспроизводимый пример", но такой пример трудно привести, так как API даркнета очень большой ...

С уважением

1 Ответ

0 голосов
/ 21 октября 2019

Большое спасибо за ваш ответ @ mark-tolonen. Ваш ответ заставил меня обратить внимание на использование ctypes, что, в свою очередь, привлекло мое внимание к тому факту, что API-интерфейс darknet на самом деле поставляется со скриптом python, который показывает, как использовать разделяемую библиотеку! Тип изображения в darknet - это класс, определенный в python следующим образом: 

class IMAGE(Structure):
    _fields_ = [("w", c_int),
                ("h", c_int),
                ("c", c_int),
                ("data", POINTER(c_float))]

Определение этого класса в python позволяет напрямую использовать его в качестве аргумента функции с API даркнета.

...