Использование OpenGL в Matlab для получения буфера глубины - PullRequest
10 голосов
/ 14 января 2012

Я задавал подобный вопрос раньше и не смог найти прямой ответ .

Может ли кто-нибудь предоставить пример кода для извлечения буфера глубины рендеринга объекта в фигуру в Matlab?

Итак, допустим, я загружаю файл obj или даже простой вызов серфинга, рендеринг его и теперь хочу получить его буфер глубины, и какой код это сделает для меня, используя Matlab и OpenGL. То есть как мне установить это и затем получить доступ к фактическим данным?

В сущности, я хочу иметь возможность использовать мощные функции построения графиков Matlabs, а затем иметь доступ к базовому графическому контексту для получения буфера глубины.

ПРИМЕЧАНИЕ: щедрость определяет JOGL, но это не обязательно. Достаточно любого кода, который действует как указано выше и который может предоставить мне буфер глубины после запуска в Matlab)

Ответы [ 2 ]

14 голосов
/ 18 января 2012

depthmap thing

Сегодня я пошел пить со своими коллегами, и после пяти бутылок пива и некоторых текилл я нашел этот вопрос и подумал: «У тебя!» Так что я некоторое время боролся, но потом я нашел простое решение, используя MEX. Я предположил, что контекст OpenGL, созданный последним окном, можно оставить активным и, следовательно, доступным из «C», если скрипт выполняется в том же потоке.

Я создал простую программу «C», которая вызывает одну функцию matlab, называемую «testofmyfilter», которая отображает частотную характеристику фильтра (это был единственный скрипт, который у меня был под рукой). Это делается с использованием OpenGL. Затем программа использует glGetViewport () и glReadPixels (), чтобы добраться до буферов OpenGL. Затем он создает матрицу, заполняет ее значениями глубины и передает ее второй функции, которая называется «trytodisplaydepthmap». Он просто отображает карту глубины с помощью функции imshow. Обратите внимание, что функции MEX также разрешено возвращать значения, поэтому, возможно, постобработка не должна быть другой функцией, но я не в состоянии понять, как это делается. Должно быть тривиально, хотя. Сегодня я впервые работаю с MEX.

Без дальнейших задержек есть исходники, которые я использовал:

testofmyfilter.m

imp = zeros(10000,1);
imp(5000) = 1;
% impulse

[bwb,bwa] = butter(3, 0.1, 'high');
b = filter(bwb, bwa, imp);
% filter impulse by the filter

fs = 44100; % sampling frequency (all frequencies are relative to fs)
frequency_response=fft(b); % calculate response (complex numbers)
amplitude_response=20*log10(abs(frequency_response)); % calculate module of the response, convert to dB
frequency_axis=(0:length(b)-1)*fs/length(b); % generate frequency values for each response value
min_f=2;
max_f=fix(length(b)/2)+1; % min, max frequency

figure(1);
lighting gouraud
set(gcf,'Renderer','OpenGL')

semilogx(frequency_axis(min_f:max_f),amplitude_response(min_f:max_f),'r-') % plot with logarithmic axis using red line
axis([frequency_axis(min_f) frequency_axis(max_f) -90 10])  % set axis limits

xlabel('frequency [Hz]');
ylabel('amplitude [dB]'); % legend

grid on % draw grid

test.c

//You can include any C libraries that you normally use
#include "windows.h"
#include "stdio.h"
#include "math.h"
#include "mex.h"   //--This one is required

extern WINAPI void glGetIntegerv(int n_enum, int *p_value);

extern WINAPI void glReadPixels(int     x, 
    int     y, 
    int     width, 
    int     height, 
    int     format, 
    int     type, 
    void *      data);

#define GL_VIEWPORT                       0x0BA2
#define GL_DEPTH_COMPONENT                0x1902
#define GL_FLOAT                          0x1406

void mexFunction(int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[])
{
    int viewport[4], i, x, y;
    int colLen;
    float *data;
    double *matrix;
    mxArray *arg[1];

    mexCallMATLAB(0, NULL, 0, NULL, "testofmyfilter");
    // call an .m file which creates OpenGL window and draws a plot inside

    glGetIntegerv(GL_VIEWPORT, viewport);
    printf("GL_VIEWPORT = [%d, %d, %d, %d]\n", viewport[0], viewport[1], viewport[2], viewport[3]);
    // print viewport dimensions, should be [0, 0, m, n]
    // where m and n are size of the GL window

    data = (float*)malloc(viewport[2] * viewport[3] * sizeof(float));
    glReadPixels(0, 0, viewport[2], viewport[3], GL_DEPTH_COMPONENT, GL_FLOAT, data);
    // alloc data and read the depth buffer

    /*for(i = 0; i < 10; ++ i)
        printf("%f\n", data[i]);*/
    // debug

    arg[0] = mxCreateNumericMatrix(viewport[3], viewport[2], mxDOUBLE_CLASS, mxREAL);
    matrix = mxGetPr(arg[0]);
    colLen = mxGetM(arg[0]);
    printf("0x%08x 0x%08x 0x%08x %d\n", data, arg[0], matrix, colLen); // debug
    for(x = 0; x < viewport[2]; ++ x) {
        for(y = 0; y < viewport[3]; ++ y)
            matrix[x * colLen + y] = data[x + (viewport[3] - 1 - y) * viewport[2]];
    }
    // create matrix, copy data (this is stupid, but matlab switches
    // rows/cols, also convert float to double - but OpenGL could have done that)

    free(data);
    // don't need this anymore

    mexCallMATLAB(0, NULL, 1, arg, "trytodisplaydepthmap");
    // pass the array to a function (returnig something from here
    // is beyond my understanding of mex, but should be doable)

    mxDestroyArray(arg[0]);
    // cleanup

    return;
}

trytodisplaydepthmap.m:

function [] = trytodisplaydepthmap(depthMap)

figure(2);
imshow(depthMap, []);
% see what's inside

Сохраните все это в одном каталоге, скомпилируйте test.c с помощью (введите это в консоль Matlab):

mex test.c Q:\MATLAB\R2008a\sys\lcc\lib\opengl32.lib

Где "Q: \ MATLAB \ R2008a \ sys \ lcc \ lib \ opengl32.lib" - это путь к файлу "opengl32.lib".

И, наконец, выполните все это, просто набрав «test» в консоли matlab. Должно появиться окно с частотной характеристикой фильтра и другое окно с буфером глубины. Обратите внимание, что передний и задний буферы поменялись местами в тот момент, когда код «C» считывает буфер глубины, поэтому может потребоваться дважды запустить сценарий, чтобы получить какие-либо результаты (поэтому передний буфер, который теперь содержит результаты, снова заменяется обратным буфером, и глубину можно прочитать). Это может быть сделано автоматически с помощью «C», или вы можете попробовать включить getframe (gcf); в конце вашего скрипта (который также читает данные из OpenGL, поэтому он заменяет буферы для вас или что-то в этом роде).

Это работает для меня в Matlab 7.6.0.324 (R2008a). Скрипт запускается и выдает следующее:

>>test
GL_VIEWPORT = [0, 0, 560, 419]
0x11150020 0x0bd39620 0x12b20030 419

И, конечно, он отображает изображения. Обратите внимание, что диапазон глубины буфера зависит от Matlab и может быть довольно большим, поэтому любой смысл сгенерированных изображений может быть непростым.

2 голосов
/ 19 января 2012

свинья ответ правильный. Вот слегка отформатированная и более простая версия, кроссплатформенная.

Создайте файл с именем mexGetDepth.c

#include "mex.h"   

#define GL_VIEWPORT                       0x0BA2
#define GL_DEPTH_COMPONENT                0x1902
#define GL_FLOAT                          0x1406

void mexFunction(int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[])
{
    int viewport[4], i, x, y;
    int colLen;
    float *data;
    double *matrix;

    glGetIntegerv(GL_VIEWPORT, viewport);
    data = (float*)malloc(viewport[2] * viewport[3] * sizeof(float));
    glReadPixels(0, 0, viewport[2], viewport[3], GL_DEPTH_COMPONENT, GL_FLOAT, data);

    plhs[0] = mxCreateNumericMatrix(viewport[3], viewport[2], mxDOUBLE_CLASS, mxREAL);
    matrix = mxGetPr(plhs[0]);
    colLen = mxGetM(plhs[0]);

    for(x = 0; x < viewport[2]; ++ x) {
        for(y = 0; y < viewport[3]; ++ y)
            matrix[x * colLen + y] = data[x + (viewport[3] - 1 - y) * viewport[2]];
    }

    free(data);
    return;
}

Тогда, если вы работаете в Windows, используйте

mex mexGetDepth.c "path to OpenGL32.lib"

или если вы работаете в системе nix

mex mexGetDepth.c "path to opengl32.a"

Затем запустите следующий небольшой скрипт, чтобы проверить новую функцию

peaks;
figure(1);
depthData=mexGetDepth;
figure
imshow(depthData);
...