Шейдеры GLSL, использующие обработку Pi на Pi 3 B + - PullRequest
Новая
       22

Шейдеры GLSL, использующие обработку Pi на Pi 3 B +

0 голосов
/ 19 марта 2020

Я впервые портирую через шейдер GLSL из Processing OSX для запуска на Processing Pi, работающем на Raspberry Pi 3 B +. У меня есть очень простой c шейдер, который растворяется между двумя играющими видео. Он отлично работает на моей ма c, но когда он портирован на Processing Pi и обновлен, чтобы использовать вместо него библиотеку обработки видео GLvideo, вместо этого он выдает ошибку.

Шейдер был первоначально преобразован из поста ShaderToy, но я переписал его прямо в GLSL, чтобы убедиться, что не было никаких проблем с совместимостью. Я огляделся по сторонам и не смог найти ничего конкретного c, которое, по-моему, могло бы вызвать эту проблему. Так что любые ссылки, указатели или помощь будут с благодарностью.

Я попробовал несколько других вещей, я изменил размер видео, чтобы уменьшить его, обновил GPU памяти Pi до 256 МБ и c. Я гарантировал, что он все еще работает на OSX, но когда он запускается на Raspberry Pi 3B +, эскиз - это пустой белый экран.

Я подумал, что может быть что-то другое с тем, как Pi обрабатывает GLSL? Или если есть ограничение на текстуры Sampler2D в графическом процессоре Pi? Тем более, что на стороне обработки это пересекает мой. Возможно, нет никакой поддержки для установки PGraphics из Processing на текстуру sampler2D в шейдере при обработке pi? может быть, есть что-то с изображениями GLVideo, когда вы устанавливаете texture3D. Кроме того, возможно, я что-то путаю между тем, как работают фрагменты и цветные шейдеры. На данный момент я думаю, что использую шейдер обработки цвета.

Единственный вывод в консоли: 

Final caps: video/x-raw(memory:GLMemory), format=(string)RGBA, width=(int)640, height=(int)360, interlace-mode=(string)progressive, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)25/1, texture-target=(string)2D
Final caps: video/x-raw(memory:GLMemory), format=(string)RGBA, width=(int)640, height=(int)360, interlace-mode=(string)progressive, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)25/1, texture-target=(string)2D

shaderDisolveGLSL.pde 

//import processing.video.*;
import gohai.glvideo.*;

PShader mixShader;  

PGraphics pg;
PGraphics pg2;

//Movie movie;
//Movie movie2;

GLMovie movie;
GLMovie movie2;

void setup() {
  size(640, 360, P2D);
  noSmooth();
  pg = createGraphics(640, 360, P2D);

  //movie = new Movie(this, "_sm/LabspaceDawnv1blur2.mp4");
  movie = new GLMovie(this, "_sm/LabspaceDawnv1blur2.mp4");
  movie.loop();

  //movie2 = new Movie(this, "_sm/LabspaceFireblur2.mp4");
  movie2 = new GLMovie(this, "_sm/LabspaceFireblur2.mp4");
  movie2.loop();

  pg = createGraphics(width, height, P2D);
  pg2 = createGraphics(width, height, P2D);

  mixShader = loadShader("fadeshader.glsl");
  mixShader.set("iResolution", float(width), float(height));
  mixShader.set("iTime", millis()/1000.);

  mixShader.set("iChannel0", pg);
  mixShader.set("iChannel1", pg2);

}  

//void movieEvent(Movie m) {
void movieEvent(GLMovie m) {
  m.read();
  redraw();
}

void draw() {

  pg.beginDraw();
    pg.image(movie, 0, 0, width, height);
  pg.endDraw();

  pg2.beginDraw();
    pg2.image(movie2, 0, 0, width, height);
  pg2.endDraw();

  shader(mixShader);
  rect(0, 0, width, height);

}

fadeshader.glsl 

// Type of shader expected by Processing
#define PROCESSING_COLOR_SHADER

uniform float iTime;
uniform sampler2D iChannel0;
uniform sampler2D iChannel1;
uniform vec2 iResolution;

void main() {

    vec2 uv = gl_FragCoord.xy / iResolution.xy;
    vec4 mixColor = vec4(0.0);
    vec4 color0 = vec4(uv.x,uv.y,0.0,1.0);
    vec4 color1 = vec4(uv.x,uv.y,0.0,1.0);

    color0 = texture2D(iChannel0, uv);
    color1 = texture2D(iChannel1, uv);

    float duration = 10.0;
    float t = mod(float(iTime), duration) / duration;

    mixColor = mix(color0, color1, t);
    gl_FragColor = mixColor;
}

Я обновил новую версию примера эскиза с небольшими видео здесь, если кому-то было интересно: https://www.dropbox.com/sh/fu2plxmqhf7shtp/AADxqmW9zf73EsdzworCb5ECa?dl=0

Буду очень признателен за любые рекомендации или мысли относительно того, что может быть в порядке или с чего начать отладку.

Спасибо!

1 Ответ

0 голосов
/ 16 апреля 2020

Я не уверен на 100%, но ошибка может быть связана с кодированием видео и тем, что библиотека GLVideo может декодировать на Raspberry PI (полагаясь на gstreamer)

Я уже сталкиваюсь с ошибками в OSX на моя старая система: эскиз замирает на сером экране на несколько секунд, затем вылетает без каких-либо предупреждений или ошибок.

Я рекомендую перекодировать видео, удалить аудиоканал, если он не требуется, и использовать тот же или аналогичный H Кодер .264 как то, что обрабатывает транзитное видео (например, Примеры> Библиотеки> Видео> Mov ie> L oop) 

ffprobe -i /Users/George/Desktop/shaderDisolveGLSL/data/_sm/LabspaceDawn\ v1\ blur\ 2.mp4 
ffprobe version 3.3.3 Copyright (c) 2007-2017 the FFmpeg developers
  built with Apple LLVM version 7.0.0 (clang-700.0.72)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/3.3.3 --enable-shared --enable-pthreads --enable-gpl --enable-version3 --enable-hardcoded-tables --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-libmp3lame --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libxvid --enable-opencl --disable-lzma --enable-vda
  libavutil      55. 58.100 / 55. 58.100
  libavcodec     57. 89.100 / 57. 89.100
  libavformat    57. 71.100 / 57. 71.100
  libavdevice    57.  6.100 / 57.  6.100
  libavfilter     6. 82.100 /  6. 82.100
  libavresample   3.  5.  0 /  3.  5.  0
  libswscale      4.  6.100 /  4.  6.100
  libswresample   2.  7.100 /  2.  7.100
  libpostproc    54.  5.100 / 54.  5.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '/Users/George/Desktop/shaderDisolveGLSL/data/_sm/LabspaceDawn v1 blur 2.mp4':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isommp42
    creation_time   : 2020-03-15T14:03:48.000000Z
  Duration: 00:00:49.09, start: 0.000000, bitrate: 218 kb/s
    Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p(tv, smpte170m/bt470bg/bt709), 640x360 [SAR 1:1 DAR 16:9], 119 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
    Metadata:
      creation_time   : 2020-03-15T14:03:48.000000Z
      handler_name    : ISO Media file produced by Google Inc. Created on: 03/15/2020.
    Stream #0:1(eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 95 kb/s (default)
    Metadata:
      creation_time   : 2020-03-15T14:03:48.000000Z
      handler_name    : ISO Media file produced by Google Inc. Created on: 03/15/2020.

Информация о транзитном видео: 

ffprobe -i /Users/George/Desktop/shaderDisolveGLSL/data/transit.mov 
ffprobe version 3.3.3 Copyright (c) 2007-2017 the FFmpeg developers
  built with Apple LLVM version 7.0.0 (clang-700.0.72)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/3.3.3 --enable-shared --enable-pthreads --enable-gpl --enable-version3 --enable-hardcoded-tables --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-libmp3lame --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libxvid --enable-opencl --disable-lzma --enable-vda
  libavutil      55. 58.100 / 55. 58.100
  libavcodec     57. 89.100 / 57. 89.100
  libavformat    57. 71.100 / 57. 71.100
  libavdevice    57.  6.100 / 57.  6.100
  libavfilter     6. 82.100 /  6. 82.100
  libavresample   3.  5.  0 /  3.  5.  0
  libswscale      4.  6.100 /  4.  6.100
  libswresample   2.  7.100 /  2.  7.100
  libpostproc    54.  5.100 / 54.  5.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '/Users/George/Desktop/shaderDisolveGLSL/data/transit.mov':
  Metadata:
    major_brand     : qt  
    minor_version   : 537199360
    compatible_brands: qt  
    creation_time   : 2012-08-31T20:17:39.000000Z
  Duration: 00:00:12.38, start: 0.000000, bitrate: 731 kb/s
    Stream #0:0(eng): Video: h264 (Main) (avc1 / 0x31637661), yuv420p(tv, smpte170m/smpte170m/bt709), 640x360, 727 kb/s, 29.97 fps, 29.97 tbr, 600 tbn, 1200 tbc (default)
    Metadata:
      creation_time   : 2012-08-31T20:17:44.000000Z
      handler_name    : Apple Alias Data Handler
      encoder         : H.264

Что кажется, работает: 

Stream #0:0(eng): Video: h264 (Main) (avc1 / 0x31637661), yuv420p(tv, smpte170m/smpte170m/bt709), 640x360, 727 kb/s, 29.97 fps, 29.97 tbr, 600 tbn, 1200 tbc (default)

Что, кажется, cra sh: 

Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p(tv, smpte170m/bt470bg/bt709), 640x360 [SAR 1:1 DAR 16:9], 119 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)

Я столкнулся с некоторыми другими прерывистыми ошибками JOGL при использовании movieEvent: sneaking .read() вызовы в draw(), кажется, решают проблему.

Вот измененная версия вашего кода, которую мне удалось запустить на OSX: 

import processing.video.*;
//import gohai.glvideo.*;

PShader mixShader;  

PGraphics pg;
PGraphics pg2;

Movie movie;
Movie movie2;

//GLMovie movie;
//GLMovie movie2;

void setup() {
  size(640, 360, P2D);
  noSmooth();
  noStroke();

  //movie = new Movie(this, "_sm/LabspaceDawnv1blur2.mp4");
  movie = new Movie(this, "transit.mov");
  //movie = new GLMovie(this, "_sm/LabspaceDawnv1blur2.mp4");
  movie.loop();

  //movie2 = new Movie(this, "_sm/LabspaceFireblur2.mp4");
  movie2 = new Movie(this, "transit2.mov");
  //movie2 = new GLMovie(this, "_sm/LabspaceFireblur2.mp4");
  movie2.loop();

  pg = createGraphics(width, height, P2D);
  pg2 = createGraphics(width, height, P2D);

  mixShader = loadShader("fadeshader.glsl");
  mixShader.set("iResolution", float(width), float(height));
  mixShader.set("iChannel0", pg);
  mixShader.set("iChannel1", pg2);

}  

//void movieEvent(Movie m) {
//void movieEvent(GLMovie m) {
  //m.read();
  //redraw();
//}

void draw() {
  if(movie.available()){   movie.read(); }
  if(movie2.available()){   movie2.read(); }

  pg.beginDraw();
    // for testing only since both movies are the same
    movie.filter(GRAY);
    pg.image(movie, 0, 0, width, height);
  pg.endDraw();

  pg2.beginDraw();
    pg2.image(movie2, 0, 0, width, height);
  pg2.endDraw();

  // don't forget to update time
  mixShader.set("iTime", millis() * 0.01);

  shader(mixShader);
  rect(0, 0, width, height);
}

Надеюсь, это работает с транзитным mov на Raspberry Пи для проверки кодеков. Когда все пройдет гладко, перекодируйте видео (Handbreak может помочь в этом) и попробуйте снова.

...