Как кешировать AVI файл с помощью ffMpeg

Question

Я читаю файл AVI, используя ffMpeg. Я хочу кэшировать файл в вектор и использовать его позже.

Это мой код.

typedef struct {

    AVFormatContext *fmt_ctx;
    int stream_idx;
    AVStream *video_stream;
    AVCodecContext *codec_ctx;
    AVCodec *decoder;
    AVPacket *packet;
    AVFrame *av_frame;
    AVFrame *gl_frame;
    struct SwsContext *conv_ctx;
    unsigned int  frame_tex;

}AppData;

   AppData data;

Здесь я кеширую файл в std :: vector

std::vector< AVFrame* > cache;    

bool initReadFrame()
{
    do {

        glBindTexture(GL_TEXTURE_2D, data.frame_tex);
        int error = av_read_frame(data.fmt_ctx, data.packet);       
        if (error)
        {           
            av_free_packet(data.packet);
            return false;
        }

        if (data.packet->stream_index == data.stream_idx)
        {
            int frame_finished = 0;

            if (avcodec_decode_video2(data.codec_ctx, data.av_frame, &frame_finished,
                data.packet) < 0) {
                av_free_packet(data.packet);
                return false;
            }

            if (frame_finished)
            {               
                if (!data.conv_ctx)
                {
                    data.conv_ctx = sws_getContext(data.codec_ctx->width,
                        data.codec_ctx->height, data.codec_ctx->pix_fmt,
                        data.codec_ctx->width, data.codec_ctx->height, AV_PIX_FMT_RGBA,
                        SWS_BICUBIC, NULL, NULL, NULL);
                }
                sws_scale(data.conv_ctx, data.av_frame->data, data.av_frame->linesize, 0,
                    data.codec_ctx->height, data.gl_frame->data, data.gl_frame->linesize);

                glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, data.codec_ctx->width,
                    data.codec_ctx->height, GL_RGBA, GL_UNSIGNED_BYTE,
                    data.gl_frame->data[0]);

                cache.push_back(av_frame_clone(data.gl_frame)); // Pushing AVFrame* to vector

            }
        }
        av_free_packet(data.packet);
    } while (data.packet->stream_index != data.stream_idx);
    return true;
}

здесь я пытаюсь прочитать буфер и обновить GL_TEXTURE_2D

void playCache()
{

        glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, data.codec_ctx->width,
        data.codec_ctx->height, GL_RGBA, GL_UNSIGNED_BYTE,
            cache[temp]->data[0]);

        temp++;

}

Проблема, с которой я сталкиваюсь, заключается в том, что при попытке прочитать кэшированные данные происходит сбой приложения.

Answer 1

Вы храните мертвую ссылку в вашем кэше.

cache.push_back(av_frame_clone(data.gl_frame));

документ говорит:

av_frame_clone: ​​создайте новый фрейм, который ссылается на те же данные, что и src.

Когда вы уничтожаете src, вы теряете его содержимое и не можете получить к нему доступ в своем кэше. Вы можете попытаться переместить ссылку в ваш новый кадр или скопировать его значение.

Переместить:

AVFrame* cachedValue;
av_frame_move_ref(cachedValue, data.gl_frame);
cache.push_back(cachedValue);

Копировать

AVFrame *cachedValue= av_frame_alloc();
cachedValue->format = data.gl_frame->format;
cachedValue->width = data.gl_frame->width;
cachedValue->height = data.gl_frame->height;
cachedValue->channels = data.gl_frame->channels;
cachedValue->channel_layout = data.gl_frame->channel_layout;
cachedValue->nb_samples = data.gl_frame->nb_samples;
av_frame_get_buffer(cachedValue, 32);
av_frame_copy(cachedValue, data.gl_frame);
av_frame_copy_props(cachedValue, data.gl_frame);
cache.push_back(cachedValue);

///////////////////////////////////////////////////

avformat_network_init();
    initializeAppData();

    // open video
    if (avformat_open_input(&data.fmt_ctx, stdstrPathOfVideo.c_str(), NULL, NULL) < 0) {
        clearAppData();
        return;
    }

    // find stream info
    if (avformat_find_stream_info(data.fmt_ctx, NULL) < 0) {
        clearAppData();
        return;
    }

    // dump debug info
//  av_dump_format(data.fmt_ctx, 0, "D:\\E\\Event\\2019\\AVI_Badges\\Generic\\Generic.avi", 0);


    // find the video stream
    for (unsigned int i = 0; i < data.fmt_ctx->nb_streams; ++i)
    {
        if (data.fmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            data.stream_idx = i;
            break;
        }
    }


    if (data.stream_idx == -1)
    {
        clearAppData();
        return;
    }

    data.video_stream = data.fmt_ctx->streams[data.stream_idx];
    data.codec_ctx = data.video_stream->codec;

    // find the decoder
    data.decoder = avcodec_find_decoder(data.codec_ctx->codec_id);
    if (data.decoder == NULL)
    {
        clearAppData();
        return;
    }

    // open the decoder
    if (avcodec_open2(data.codec_ctx, data.decoder, NULL) < 0)
    {
        clearAppData();
        return;
    }

    // allocate the video frames
    data.av_frame = av_frame_alloc();
    data.gl_frame = av_frame_alloc();
    int size = avpicture_get_size(AV_PIX_FMT_RGBA, data.codec_ctx->width,
        data.codec_ctx->height);
    uint8_t *internal_buffer = (uint8_t *)av_malloc(size * sizeof(uint8_t));
    avpicture_fill((AVPicture *)data.gl_frame, internal_buffer, AV_PIX_FMT_RGBA,
        data.codec_ctx->width, data.codec_ctx->height);
    data.packet = (AVPacket *)av_malloc(sizeof(AVPacket));