Запись пикселей на текстуру с помощью OpenGL ES Android

Question

Я пытаюсь выполнить работу с пикселями в старой школе текстур, используя массив.Мой подход состоит в том, чтобы сгенерировать текстуру, а затем использовать эту текстуру при каждой последующей записи кадра и при необходимости изменять мою текстуру.Однако, когда я запускаю этот код в эмуляторе Android, я получаю только белое изображение.Мой размер текстуры - степень двойки, поэтому я был немного удивлен.Во всяком случае, я бы ожидал увидеть полностью черное изображение.Вот мой собственный код рендерера:

package com.gltest;

import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.FloatBuffer;
import java.nio.IntBuffer;
import java.nio.ShortBuffer;

import javax.microedition.khronos.egl.EGLConfig;
import javax.microedition.khronos.opengles.GL10;
import android.opengl.GLU;
import android.opengl.GLSurfaceView.Renderer;

public class OpenGLRenderer implements Renderer {

    private ByteBuffer buf;
    private int cwidth, cheight;
    private FloatBuffer vertexBuffer, texelBuffer;
    private ShortBuffer indexBuffer;
    int[] textures = new int[1];

    float vertices[] = {
               0.0f,  1.0f, 0.0f,
               0.0f,  0.0f, 0.0f,
               1.0f,  0.0f, 0.0f,
               1.0f,  1.0f, 0.0f
        };
    private float texels[] = {
            0.0f, 1.0f,
            0.0f, 0.0f,
            1.0f, 0.0f,
            1.0f, 1.0f
        };
    private short[] indices = { 0, 1, 2, 0, 2, 3 };

    @Override
    public void onDrawFrame(GL10 gl) {
        gl.glClear(GL10.GL_COLOR_BUFFER_BIT | GL10.GL_DEPTH_BUFFER_BIT);
        updateTexture(gl);
    }

    @Override
    public void onSurfaceChanged(GL10 gl, int width, int height) {
        gl.glViewport(0, 0, width, height);
        gl.glMatrixMode(GL10.GL_PROJECTION);
        gl.glLoadIdentity();
        GLU.gluOrtho2D(gl, 0, width, 0, height);
        gl.glMatrixMode(GL10.GL_MODELVIEW);
        gl.glLoadIdentity();

        buf = ByteBuffer.allocateDirect(128 * 128 * 3).order(ByteOrder.nativeOrder());
        cwidth = width;
        cheight= height;;

        for( int i=0; i<vertices.length; i+=3 ) {
            vertices[i] *= cwidth;
            vertices[i+1] *= cheight;
        }
        gl.glEnable(GL10.GL_TEXTURE_2D);
        gl.glGenTextures(1, textures, 0);
        gl.glBindTexture(GL10.GL_TEXTURE_2D, textures[0]);
        gl.glTexParameterf(GL10.GL_TEXTURE_2D, GL10.GL_TEXTURE_MAG_FILTER, GL10.GL_NEAREST);
        gl.glTexParameterf(GL10.GL_TEXTURE_2D, GL10.GL_TEXTURE_MIN_FILTER, GL10.GL_NEAREST);
        gl.glTexImage2D(GL10.GL_TEXTURE_2D, 0, 3, 128, 128, 0, GL10.GL_RGB, GL10.GL_UNSIGNED_BYTE, buf);

        ByteBuffer vbb = ByteBuffer.allocateDirect(vertices.length * 4);
        vbb.order(ByteOrder.nativeOrder());
        vertexBuffer = vbb.asFloatBuffer();
        vertexBuffer.put(vertices);
        vertexBuffer.position(0);

        ByteBuffer tbb = ByteBuffer.allocateDirect(texels.length * 4);
        tbb.order(ByteOrder.nativeOrder());
        texelBuffer = tbb.asFloatBuffer();
        texelBuffer.put(texels);
        texelBuffer.position(0);

        ByteBuffer ibb = ByteBuffer.allocateDirect(indices.length * 2);
        ibb.order(ByteOrder.nativeOrder());
        indexBuffer = ibb.asShortBuffer();
        indexBuffer.put(indices);
        indexBuffer.position(0);
    }

    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {
        gl.glClearColor(1.0f, 0.0f, 0.0f, 0.5f);  
        gl.glShadeModel(GL10.GL_SMOOTH);
        gl.glClearDepthf(1.0f);
        gl.glEnable(GL10.GL_DEPTH_TEST);
        gl.glDepthFunc(GL10.GL_LEQUAL);
        gl.glHint(GL10.GL_PERSPECTIVE_CORRECTION_HINT, GL10.GL_NICEST);
    }

    void updateTexture(GL10 gl)
    {   
        // Update pixels
        // write random r g or b values to random locations
        for(int y = 0; y < 128; ++y)        
            for(int x = 0; x < 128; ++x)
                buf.put(x+y*128, (byte)(Math.random()*255));

        buf.position(0);
        gl.glEnable(GL10.GL_TEXTURE_2D);
        gl.glBindTexture(gl.GL_TEXTURE_2D, textures[0]);

        gl.glEnableClientState(GL10.GL_VERTEX_ARRAY);
        gl.glVertexPointer(3, GL10.GL_FLOAT, 0, vertexBuffer);

        gl.glTexSubImage2D(GL10.GL_TEXTURE_2D, 0, 0, 0, 128, 128, GL10.GL_RGB, GL10.GL_UNSIGNED_BYTE, buf);
        gl.glEnableClientState(GL10.GL_TEXTURE_COORD_ARRAY);
        gl.glTexCoordPointer(2, GL10.GL_FLOAT, 0, texelBuffer);
        gl.glBindTexture(GL10.GL_TEXTURE_2D, textures[0]);

        gl.glDrawElements(GL10.GL_TRIANGLES, indices.length, GL10.GL_UNSIGNED_SHORT, indexBuffer);

        gl.glDisableClientState(GL10.GL_VERTEX_ARRAY);
        gl.glDisableClientState(GL10.GL_TEXTURE_COORD_ARRAY);

    }
}

Answer 1

Честно говоря, я не верю, что это очень удобное решение с точки зрения производительности.

Изменения / эффекты такого рода следует выполнять в программируемой модели конвейера, такой как OPENGL ES 2.0, с использованием вершинных и фрагментных шейдеров.

Решение, которое вы пытаетесь достичь, не удобно по следующим причинам:

• Нагрузка полностью на процессоре, и вы вообще не используете питание графического процессора
• Функции обработки текстурных данных, как известно, в настоящее время являются причиной снижения производительности для современных графических процессоров

Я настоятельно рекомендую вам реализовать эффекты, возможно, в фрагментном шейдере, чтобы получить максимально возможную производительность.

Answer 2

После некоторого осмотра я обнаружил, что gl.glTexSubImage2D не поддерживается в GLES 1.1 на Android (он встроен, но ничего не делает: https://www.google.com/search?ix=hea&sourceid=chrome&ie=UTF-8&q=android+opengl+glTexSubImage2D)

Кроме того, никто неиначе впустую тратит их время в будущем, забудьте о попытке использовать glDrawPixels для отправки в кадровый буфер. Это также не поддерживается, в любой реализации GLES 1.1 / 2.0 (Android, iPhone) и т. д.

Решение состоит в том, чтобы использовать NDK, как описано в этой превосходной статье неким кодером по имени "Richard Quirk", у которого есть собственный блог: http://quirkygba.blogspot.com/2010/10/android-native-coding-in-c.html и, как это бывает, также является регулярным переполнением стека: https://stackoverflow.com/users/4596/richq

Спасибо, Ричард!