Наложение изображений в FFMpeg с использованием библиотеки C

Question

Я хотел бы динамически манипулировать видео, чтобы показать число, полученное из внешнего источника.

Это хорошо работает, если я просто использую фильтр drawText.К сожалению, клиент хотел бы, чтобы наложение выглядело намного более изящно.У меня есть изображение с цифрами в требуемом формате, и я могу использовать его для динамического создания изображения, содержащего номер.Однако я не уверен, как использовать оверлейный фильтр FFMPEG для объединения этого изображения с видео.

Я нашел примеры для выполнения этого в командной строке с такой командой:

ffmpeg -itsoffset 5 -i in.mp4 -r 25 -loop 1 -i intro.png -filter_complex "[1:v] fade=out:125:25:alpha=1 [intro]; [0:v][intro] overlay [v]" -map "[v]" -map 0:a -acodec copy out.mp4

Основная проблема в том, что я не могу использовать инструмент командной строки.Мне нужно управлять видео на лету (видеоданные отправляются в стороннюю потоковую библиотеку).У меня есть рабочее решение, использующее drawtext, только один источник (оригинальное видео).Для наложения я должен был бы как-то указать второй источник (изображение), и я понятия не имею, как я могу это сделать.

В настоящее время я использую этот метод (взят из примера фильтра FFMPEG), чтобы создать фильтр:

static int init_filters(AVFormatContext *fmt_ctx,
AVCodecContext *dec_ctx,
AVFilterContext **buffersink_ctx,
AVFilterContext **buffersrc_ctx,
AVFilterGraph **filter_graph,
int video_stream_index,
const char *filters_descr)
{
    char args[512];
    int ret = 0;
    AVFilter *buffersrc = avfilter_get_by_name("buffer");
    AVFilter *buffersink = avfilter_get_by_name("buffersink");
    AVFilterInOut *outputs = avfilter_inout_alloc();
    AVFilterInOut *inputs = avfilter_inout_alloc();
    AVRational time_base = fmt_ctx->streams[video_stream_index]->time_base;
    enum AVPixelFormat pix_fmts[] = { dec_ctx->pix_fmt, AV_PIX_FMT_NONE };
    *filter_graph = avfilter_graph_alloc();
    if (!outputs || !inputs || !filter_graph) {
        ret = AVERROR(ENOMEM);
        goto end;
    }

    /* buffer video source: the decoded frames from the decoder will be inserted here. */
    snprintf(args, sizeof(args),
        "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",
        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
        time_base.num, time_base.den,
        dec_ctx->sample_aspect_ratio.num, dec_ctx->sample_aspect_ratio.den);

    ret = avfilter_graph_create_filter(buffersrc_ctx, buffersrc, "in",
        args, NULL, *filter_graph);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Cannot create buffer source\n");
        goto end;
    }

    /* buffer video sink: to terminate the filter chain. */
    ret = avfilter_graph_create_filter(buffersink_ctx, buffersink, "out",
        NULL, NULL, *filter_graph);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Cannot create buffer sink\n");
        goto end;
    }

    ret = av_opt_set_int_list(*buffersink_ctx, "pix_fmts", pix_fmts,
        AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Cannot set output pixel format\n");
        goto end;
    }

    /*
    * Set the endpoints for the filter graph. The filter_graph will
    * be linked to the graph described by filters_descr.
    */

    /*
    * The buffer source output must be connected to the input pad of
    * the first filter described by filters_descr; since the first
    * filter input label is not specified, it is set to "in" by
    * default.
    */
    outputs->name = av_strdup("in");
    outputs->filter_ctx = *buffersrc_ctx;
    outputs->pad_idx = 0;
    outputs->next = NULL;

    /*
    * The buffer sink input must be connected to the output pad of
    * the last filter described by filters_descr; since the last
    * filter output label is not specified, it is set to "out" by
    * default.
    */
    inputs->name = av_strdup("out");
    inputs->filter_ctx = *buffersink_ctx;
    inputs->pad_idx = 0;
    inputs->next = NULL;

    if ((ret = avfilter_graph_parse_ptr(*filter_graph, filters_descr,
        &inputs, &outputs, NULL)) < 0)
        goto end;

    if ((ret = avfilter_graph_config(*filter_graph, NULL)) < 0)
        goto end;

end:
    avfilter_inout_free(&inputs);
    avfilter_inout_free(&outputs);

    return ret;
}

Я могу использовать фильтры того же типа, что и на консоли.Этот код позже применяет фильтр к текущему кадру (this-> pVideoFrame):

if (av_buffersrc_add_frame_flags(buffersrc_ctx, this->pVideoFrame, AV_BUFFERSRC_FLAG_KEEP_REF) < 0) {
    av_log(NULL, AV_LOG_ERROR, "Error while feeding the filtergraph\n");
    break;
}

/* pull filtered frames from the filtergraph */
while (1) {
    int ret = av_buffersink_get_frame(buffersink_ctx, this->pVideoFilterFrame);
    if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
    {
        break;
    }
}

Чтобы этот фильтр работал со спецификацией фильтра наложения, мне нужно каким-то образом получить изображение в систему иЯ понятия не имею, как это сделать.

В идеале я хотел бы загрузить систему буфером в памяти.Но при необходимости я могу сначала записать сгенерированное изображение в временный файл.Изображение будет действительным в течение как минимум секунды до изменения номера.Библиотека C ++, использующая FFMPEG для манипулирования и передачи изображения, является частью более крупного проекта .NET.

Любая помощь приветствуется.

С уважением, Людвиг