Создание полезного видеофайла H.264 - PullRequest
Новая
       50

Создание полезного видеофайла H.264

0 голосов
/ 03 мая 2019

Я пытаюсь использовать libavcodec для создания видеофайла в формате mp4 из отдельных кадров. Каждый входной кадр - это qt QImage, а выходной файл записывается в класс Qt QFile.

Я сделал это с помощью класса VideoTarget, который при инициализации открывает указанный «целевой» файл, записывает кадры при вызове addFrame(image), а затем сохраняет / закрывает файл при вызове его деструктора.

Класс имеет следующие поля: 

AVCodec* m_codec = nullptr;
AVCodecContext *m_context = nullptr;
AVPacket* m_packet = nullptr;
AVFrame* m_frame = nullptr;

QFile m_target;

И выглядит так: 

VideoTarget::VideoTarget(QString target, QObject *parent) : QObject(parent), m_target(target)
{
    // Find video codec
    m_codec = avcodec_find_encoder_by_name("libx264rgb");
    if (!m_codec) throw std::runtime_error("Unable to find codec.");

    // Make codec context
    m_context = avcodec_alloc_context3(m_codec);
    if (!m_context) throw std::runtime_error("Unable to allocate codec context.");

    // Make codec packet
    m_packet = av_packet_alloc();
    if (!m_packet) throw std::runtime_error("Unable to allocate packet.");

    // Configure context
    m_context->bit_rate = 400000;
    m_context->width = 1280;
    m_context->height = 720;
    m_context->time_base = (AVRational){1, 60};
    m_context->framerate = (AVRational){60, 1};
    m_context->gop_size = 10;
    m_context->max_b_frames = 1;
    m_context->pix_fmt = AV_PIX_FMT_RGB24;

    if (m_codec->id == AV_CODEC_ID_H264)
        av_opt_set(m_context->priv_data, "preset", "slow", 0);

    // Open Codec
    int ret = avcodec_open2(m_context, m_codec, nullptr);
    if (ret < 0) {
        throw std::runtime_error("Unable to open codec.");
    }

    // Open file
    if (!m_target.open(QIODevice::WriteOnly))
        throw std::runtime_error("Unable to open target file.");

    // Allocate frame
    m_frame = av_frame_alloc();
    if (!m_frame) throw std::runtime_error("Unable to allocate frame.");

    m_frame->format = m_context->pix_fmt;
    m_frame->width = m_context->width;
    m_frame->height = m_context->height;
    m_frame->pts = 0;

    ret = av_frame_get_buffer(m_frame, 24);
    if (ret < 0) throw std::runtime_error("Unable to allocate frame buffer.");
}

void VideoTarget::addFrame(QImage &image)
{
    // Ensure frame data is writable
    int ret = av_frame_make_writable(m_frame);
    if (ret < 0) throw std::runtime_error("Unable to make frame writable.");

    // Prepare image
    for (int y = 0; y < m_context->height; y++) {
        for (int x = 0; x < m_context->width; x++) {
            auto pixel = image.pixelColor(x, y);
            int pos = (y * 1024 + x) * 3;
            m_frame->data[0][pos] = pixel.red();
            m_frame->data[0][pos + 1] = pixel.green();
            m_frame->data[0][pos + 2] = pixel.blue();
        }
    }

    m_frame->pts++;

    // Send the frame
    ret = avcodec_send_frame(m_context, m_frame);
    if (ret < 0) throw std::runtime_error("Unable to send AV frame.");

    while (ret >= 0) {
        ret = avcodec_receive_packet(m_context, m_packet);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            return;
        else if (ret < 0) throw std::runtime_error("Error during encoding.");

        m_target.write((const char*)m_packet->data, m_packet->size);
        av_packet_unref(m_packet);
    }
}

VideoTarget::~VideoTarget()
{
    int ret = avcodec_send_frame(m_context, nullptr);
    if (ret < 0) throw std::runtime_error("Unable to send AV null frame.");

    while (ret >= 0) {
        ret = avcodec_receive_packet(m_context, m_packet);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            return;
        else if (ret < 0) throw std::runtime_error("Error during encoding.");

        m_target.write((const char*)m_packet->data, m_packet->size);
        av_packet_unref(m_packet);
    }

    // Magic number at the end of the file
    uint8_t endcode[] = { 0, 0, 1, 0xb7 };
    m_target.write((const char*)endcode, sizeof(endcode));
    m_target.close();

    // Free codec stuff
    avcodec_free_context(&m_context);
    av_frame_free(&m_frame);
    av_packet_free(&m_packet);
}

При использовании класс кажется работающим, и данные записываются в файл, за исключением того, что я не могу воспроизвести полученный файл в любом приложении.

Мой главный подозреваемый - это строки: 

    // Prepare image
    for (int y = 0; y < m_context->height; y++) {
        for (int x = 0; x < m_context->width; x++) {
            auto pixel = image.pixelColor(x, y);
            int pos = (y * 1024 + x) * 3;
            m_frame->data[0][pos] = pixel.red();
            m_frame->data[0][pos + 1] = pixel.green();
            m_frame->data[0][pos + 2] = pixel.blue();
        }
    }

Документация libavcodec была чрезвычайно расплывчатой ​​в отношении расположения данных изображения, поэтому мне пришлось эффективно угадывать и радоваться первому, что не вылетело, так что, скорее всего, я пишу это неправильно. Существует также проблема несоответствия размеров между моими pixel вызовами цветовых данных (с указанием int значений) и выбранным мной форматом RGB с 24 битами на пиксель.

Как настроить этот код для вывода актуальных, функционирующих видеофайлов?

1 Ответ

1 голос
/ 04 мая 2019

Документация libavcodec была чрезвычайно расплывчатой ​​в отношении макета данных изображения

Это потому, что каждый кодек отличается.Я рекомендую вам использовать yuv420p, а не RGB24.Многие игроки не могут играть в h264 RGB.Вы можете использовать libswscale для конвертации между.

Далее, в каком формате вы создаете поток?Приложение B можно воспроизводить напрямую, но если вы используете дополнительные данные + размер NALU (AVCC), вам нужно будет обернуть поток в контейнер.

Наконец, зачем использовать libavcodec?На мой взгляд, libx264 предоставляет более чистый API.Если вы не играете, чтобы переключить кодеки позже, избегайте абстракции.

...