Без обновления кадров после обновления с ffmpeg 1.1 до 3.3 - PullRequest
Новая
       46

Без обновления кадров после обновления с ffmpeg 1.1 до 3.3

0 голосов
/ 01 мая 2018

У меня есть исходный код на C ++, использующий libavcodec для декодирования кадров потока h264 rtsp. Этот исходный код был написан с использованием ffmpeg 1.1. Теперь, когда я обновился до ffmpeg 3.3, кажется, что все работает правильно, за исключением того, что декодирование кадров не работает. В старой версии я использовал avcodec_decode_video2. После обновления avcodec_decode_video2 всегда устанавливает значение got_picture в 0, а возвращаемое значение равно размеру входного пакета (что означает, что все данные используются). И никогда кадр не декодируется. Я также удалил avcodec_decode_video2 и выполнил декодирование с помощью avcodec_send_packet и avcodec_receive_frame, но avcodec_send_packet всегда возвращает 0, а avcodec_receive_frame всегда возвращает -11 (EAGAIN).

Это код, который я использую для декодирования: 

#include "stdafx.h"
#include <stdlib.h>
#include <string>
#include <iostream>
using namespace std;

extern "C"{
#include "libavformat/avformat.h"
#include "libavcodec/avcodec.h"
#include "libswscale/swscale.h"
#include "libavutil/pixfmt.h"
}

int extraDataSize;
static const int MaxExtraDataSize = 1024;
uint8_t extraDataBuffer[MaxExtraDataSize];

void AddExtraData(uint8_t* data, int size)
{
    auto newSize = extraDataSize + size;
    if (newSize > MaxExtraDataSize){
        throw "extradata exceeds size limit";
    }
    memcpy(extraDataBuffer + extraDataSize, data, size);
    extraDataSize = newSize;
}

int _tmain(int argc, _TCHAR* argv[])
{
    std::string strFramesPath("g:\\frames\\");

    AVCodec* avCodec;
    AVCodecContext* avCodecContext;
    AVFrame* avFrame;
    AVCodecID codecId = AV_CODEC_ID_H264;
    unsigned char sprops_part_1[9] = { 0x27, 0x42, 0x80, 0x1f, 0xda, 0x02, 0xd0, 0x49, 0x10 };
    unsigned char sprops_part_2[4] = { 0x28, 0xce, 0x3c, 0x80 };

    av_register_all();
    avcodec_register_all();
    avCodec = avcodec_find_decoder(codecId);
    avCodecContext = avcodec_alloc_context3(avCodec);
    if (!avCodecContext)
    {
        cout << "avcodec_alloc_context3 failed." << endl;
        return 0;
    }
    uint8_t startCode[] = { 0x00, 0x00, 0x01 };

    // sprops
    {
        // sprops 1
        AddExtraData(startCode, sizeof(startCode));
        AddExtraData(sprops_part_1, 9);
        // sprops 2
        AddExtraData(startCode, sizeof(startCode));
        AddExtraData(sprops_part_2, 4);

        avCodecContext->extradata = extraDataBuffer;
        avCodecContext->extradata_size = extraDataSize;
    }

    AddExtraData(startCode, sizeof(startCode));
    avCodecContext->flags = 0;
    if (avcodec_open2(avCodecContext, avCodec, NULL) < 0)
    {
        cout << "failed to open codec" << endl;
        return 0;
    }
    avFrame = av_frame_alloc();
    if (!avFrame)
    {
        cout << "failed to alloc frame" << endl;
        return 0;
    }

    void *buffer = malloc(100 * 1024);  // 100 KB buffer - all frames fit in this buffer
    for (int nFrameIndex = 0; nFrameIndex < 257; nFrameIndex++)
    {
        std::string strFilename = std::string("g:\\frames\\" + std::to_string(nFrameIndex));
        FILE* f = fopen(strFilename.c_str(), "rb");
        fseek(f, 0, SEEK_END);
        long nFileSize = ftell(f);
        fseek(f, 0, SEEK_SET);
        size_t nReadSize = fread(buffer, 1, nFileSize, f);
        // cout << strFilename << endl;
        if (nReadSize != nFileSize)
        {
            cout << "Error reading file data" << endl;
            continue;
        }
        AVPacket avpkt;
        avpkt.data = (uint8_t*)buffer;
        avpkt.size = nReadSize;

        while (avpkt.size > 0)
        {
            int got_frame = 0;
            auto len = avcodec_decode_video2(avCodecContext, avFrame, &got_frame, &avpkt);
            if (len < 0) {
                //TODO: log error
                cout << "Error decoding - error code: " << len << endl;
                break;
            }
            if (got_frame)
            {
                cout << "* Got 1 Decoded Frame" << endl;
            }
            avpkt.size -= len;
            avpkt.data += len;
        }
    }

    getchar();
    return 0;
}

Данные тестовых кадров можно скачать по этой ссылке: Frames.zip (~ 3,7 МБ)

Я использовал сборки Windows из Сборки - Zeranoe FFmpeg Если вы скопируете этот код в свою среду IDE, он успешно скомпилируется. Используя новые версии libavcodec, ни один кадр не декодируется. При использовании старой версии libavcodec (20141216-git-92a596f) декодирование начинается при кадре подачи 2.

Есть идеи?

1 Ответ

0 голосов
/ 13 июня 2018

Описание FFmpeg / libAV довольно сложное и, вероятно, не самое лучшее с точки зрения понятности (если не сказать, что это плохо). Вы должны прочитать это внимательно.

Однако вам не хватает инициализации AVPacket с помощью av_init_packet. Или используйте av_packet_alloc() для создания пакета, который будет инициализировать пакет (и его лучше дублировать позже для кодирования). 

// code ...
AVPacket avpkt;
av_init_packet(&avpkt);         // initialize packet
avpkt.data = (uint8_t*)buffer;
avpkt.size = nReadSize;
// code ...

или 

// code ...
AVPacket* avpkt = av_packet_alloc();
avpkt->data = (uint8_t*)buffer;
avpkt->size = nReadSize;
// use ...
auto len = avcodec_decode_video2(avCodecContext, avFrame, &got_frame, avpkt);

Использование av_packet_alloc() также более согласованно в коде, поскольку вы также используете AVFrame в качестве указателя.

Не забудьте также освободить пакеты / кадры / изображения, иначе у вас будут утечки памяти.

Также здесь - это (более или менее) хорошее / "современное" руководство для ffmpeg.

...