GLSL Chroma Key Shader как QT5 QML пример видеофокса - PullRequest
Новая
       10

GLSL Chroma Key Shader как QT5 QML пример видеофокса

0 голосов
/ 09 июня 2019

cvw76 19 минут назад

Привет, Мне нужно получить быстрый прототип и запустить его для приложения, которое может изолировать фигуру от фона, синего или зеленого, но может быть другого цвета.

Я просмотрел примеры проекта Qt5, и пример QML video FX почти функциональный, чтобы извлечь нужные мне части в мой существующий QML-C ++. Довольно быстро я обнаружил, что мне нужно идти по шейдерному маршруту GLSL, так как мое приложение будет портировать и на Android, поэтому ему нужны возможности в реальном времени. Фильтр «изолировать» почти делает то, что мне нужно, за исключением того, что он обесцвечивает цвет фона, а не делает его прозрачным, поэтому я могу поместить его поверх другого изображения. В противном случае все, что мне нужно, есть, и его легко интегрировать. Моя проблема в том, что я не очень разбираюсь в GLSL, и сейчас я в значительной степени пытаюсь оценить шейдерный аспект. У меня есть другие рабочие примеры очень функциональных шейдеров хроматических ключей opengl для единства, но мне нужно прочитать GLSL, прежде чем я смогу попытаться интегрировать их. Такие вещи, которые я искал по ответам. Это очень полезно для объяснения большей части GLSL, но не совсем помогает мне.

Может кто-нибудь объяснить этот фрагментный шейдер? Это фильтр Chroma Key (эффект зеленого экрана)

И мне не нужен полноценный, точный хроматический ключ, просто разумный результат в reltime (ish) с камеры или видео - почти как в примере. Это идеально подходит для моей текущей настройки проекта.

Кто-нибудь испытал это? Пример кода шейдера приведен здесь, если кто-то может рассказать мне об этом и дать мне представление о том, где можно изменить его для моих целей.

Большое спасибо 

// QML video FX sample from QT5 examples - isolate.fsh file
// Based on http://kodemongki.blogspot.com/2011/06/kameraku-custom-shader-effects-example.html

uniform float targetHue;
uniform float windowWidth;
uniform float dividerValue;

uniform sampler2D source;
uniform lowp float qt_Opacity;
varying vec2 qt_TexCoord0;


void rgb2hsl(vec3 rgb, out float h, out float s, float l)
{
    float maxval = max(rgb.r, max(rgb.g, rgb.b));
    float minval = min(rgb.r, min(rgb.g, rgb.b));
    float delta = maxval - minval;
    l = (minval + maxval) / 2.0;
    s = 0.0;
    if (l > 0.0 && l < 1.0)
        s = delta / (l < 0.5 ? 2.0 * l : 2.0 - 2.0 * l);
    h = 0.0;
    if (delta > 0.0)
    {
        if (rgb.r == maxval && rgb.g != maxval)
            h += (rgb.g - rgb.b ) / delta;
        if (rgb.g == maxval && rgb.b != maxval)
            h += 2.0  + (rgb.b - rgb.r) / delta;
        if (rgb.b == maxval && rgb.r != maxval)
            h += 4.0 + (rgb.r - rgb.g) / delta;
        h *= 60.0;
    }

}

void main()
{
    vec2 uv = qt_TexCoord0.xy;
    vec3 col = texture2D(source, uv).rgb;
    float h, s, l;
    rgb2hsl(col, h, s, l);
    float h2 = (h > targetHue) ? h - 360.0 : h + 360.0;
    float y = 0.3 * col.r + 0.59 * col.g + 0.11 * col.b;
    //float y = col.r * col.g * col.b;
    vec3 result;
    if (uv.x > dividerValue || (abs(h - targetHue) < windowWidth) ||     (abs(h2 - targetHue) < windowWidth))
        result = col;
    else
        result = vec3(y, y, y);

    gl_FragColor = qt_Opacity * vec4(result, 1.0);
}
...