CMSampleBuffer из OpenGL для вывода видео с помощью AVAssestWritter

Question

Мне нужно получить CMSampleBuffer для фрейма OpenGL. Я использую это:

int s = 1;
        UIScreen * screen = [UIScreen mainScreen];
        if ([screen respondsToSelector:@selector(scale)]){
            s = (int)[screen scale];
        }
        const int w = viewController.view.frame.size.width/2;
        const int h = viewController.view.frame.size.height/2;
        const NSInteger my_data_length = 4*w*h*s*s;
        // allocate array and read pixels into it.
        GLubyte * buffer = malloc(my_data_length);
        glReadPixels(0, 0, w*s, h*s, GL_RGBA, GL_UNSIGNED_BYTE, buffer);
        // gl renders "upside down" so swap top to bottom into new array.
        GLubyte * buffer2 = malloc(my_data_length);
        for(int y = 0; y < h*s; y++){
            memcpy(buffer2 + (h*s - 1 - y)*4*w*s, buffer + (4*y*w*s), 4*w*s);
        }
        free(buffer);
        CMBlockBufferRef * cm_block_buffer_ref;
        CMBlockBufferAccessDataBytes(cm_block_buffer_ref,0,my_data_length,buffer2,*buffer2);
        CMSampleBufferRef * cm_buffer;
        CMSampleBufferCreate (kCFAllocatorDefault,cm_block_buffer_ref,true,NULL,NULL,NULL,1,1,NULL,0,NULL,cm_buffer);

Я получаю EXEC_BAD_ACCESS для CMSampleBufferCreate.

Любая помощь приветствуется, спасибо.

Answer 1

Решением было использование класса AVAssetWriterInputPixelBufferAdaptor.

int s = 1;
        UIScreen * screen = [UIScreen mainScreen];
        if ([screen respondsToSelector:@selector(scale)]){
            s = (int)[screen scale];
        }
        const int w = viewController.view.frame.size.width/2;
        const int h = viewController.view.frame.size.height/2;
        const NSInteger my_data_length = 4*w*h*s*s;
        // allocate array and read pixels into it.
        GLubyte * buffer = malloc(my_data_length);
        glReadPixels(0, 0, w*s, h*s, GL_RGBA, GL_UNSIGNED_BYTE, buffer);
        // gl renders "upside down" so swap top to bottom into new array.
        GLubyte * buffer2 = malloc(my_data_length);
        for(int y = 0; y < h*s; y++){
            memcpy(buffer2 + (h*s - 1 - y)*4*w*s, buffer + (4*y*w*s), 4*w*s);
        }
        free(buffer);
        CVPixelBufferRef pixel_buffer = NULL;
        CVPixelBufferCreateWithBytes (NULL,w*2,h*2,kCVPixelFormatType_32BGRA,buffer2,4*w*s,NULL,0,NULL,&pixel_buffer);
        [av_adaptor appendPixelBuffer: pixel_buffer withPresentationTime:CMTimeMakeWithSeconds([[NSDate date] timeIntervalSinceDate: start_time],30)];

Answer 2

Почему третий параметр, равный CMSampleBufferCreate(), имеет значение true в вашем коде? Согласно документации :

Параметры

распределитель

Распределитель, используемый для выделения памяти для CMSampleBuffer объект. Передайте kCFAllocatorDefault в использовать текущий распределитель по умолчанию.

Буфер данных

Это может быть NULL, CMBlockBuffer без резервной памяти, CMBlockBuffer с резервной памятью но пока нет данных или CMBlockBuffer это уже содержит медиа-данные. Только в этом последнем случае (или если NULL и numSamples равен 0), если dataReady be правда.

dataReady

Указывает, содержит ли dataBuffer носитель данные.

Ваш cm_block_buffer_ref, который передается в виде буфера, не содержит данных (вы должны NULL для безопасности, я не верю, что компилятор делает это по умолчанию), поэтому вы должны использовать false здесь.

Могут быть и другие проблемы, но это первый элемент, который выпрыгивает из меня.

Answer 3

Почему двойной malloc и почему бы не заменить его через временный буфер?

Примерно так:

    GLubyte * raw = (GLubyte *) wyMalloc(size);
    LOGD("raw address %p", raw);
    glReadPixels(x, y, w, h, GL_RGBA, GL_UNSIGNED_BYTE, raw);
    const size_t end = h/2;
    const size_t W = 4*w;
    GLubyte row[4*w];
    for (int i=0; i <= end; i++) {
        void * top = raw + (h - i - 1)*W;
        void * bottom = raw + i*W;
        memcpy(row, top, W);
        memcpy(top, bottom, W);
        memcpy(bottom, row, W);
    }