Объединение AVAssets легко

Question

У меня есть простой AVFoundation код для объединения нескольких файлов mp4 длиной четыре секунды, которые выглядят так:

func
compose(parts inParts: [Part], progress inProgress: (CMTime) -> ())
    -> AVAsset?
{
    guard
        let composition = self.composition,
        let videoTrack = composition.addMutableTrack(withMediaType: .video, preferredTrackID: kCMPersistentTrackID_Invalid),
        let audioTrack = composition.addMutableTrack(withMediaType: .audio, preferredTrackID: kCMPersistentTrackID_Invalid)
    else
    {
        debugLog("Unable to create tracks for composition")
        return nil
    }

    do
    {
        var time = CMTime.zero
        for p in inParts
        {
            let asset = AVURLAsset(url: p.path.url)
            if let track = asset.tracks(withMediaType: .video).first
            {
                try videoTrack.insertTimeRange(CMTimeRange(start: .zero, duration: asset.duration), of: track, at: time)
            }
            if let track = asset.tracks(withMediaType: .audio).first
            {
                try audioTrack.insertTimeRange(CMTimeRange(start: .zero, duration: asset.duration), of: track, at: time)
            }

            time = CMTimeAdd(time, asset.duration)
            inProgress(time)
        }
    }

    catch (let e)
    {
        debugLog("Error adding clips: \(e)")
        return nil
    }

    return composition
}

К сожалению, каждые четыре секунды вы можете слышать звукВыключите на мгновение, указывая мне, что это не совсем бесшовная конкатенация.Есть ли что-нибудь, что я могу сделать, чтобы улучшить это?

Решение

Благодаря превосходному ответу NoHalfBits, приведенному ниже, я обновил вышеуказанный цикл следующим образом, и он работает очень хорошо:

        for p in inParts
        {
            let asset = AVURLAsset(url: p.path.url)

            //  It’s possible (and turns out, it’s often the case with UniFi NVR recordings)
            //  for the audio and video tracks to be of slightly different start time
            //  and duration. Find the intersection of the two tracks’ time ranges and
            //  use that range when inserting both tracks into the composition…

            //  Calculate the common time range between the video and audio tracks…

            let sourceVideo = asset.tracks(withMediaType: .video).first
            let sourceAudio = asset.tracks(withMediaType: .audio).first
            var commonTimeRange = CMTimeRange.zero
            if sourceVideo != nil && sourceAudio != nil
            {
                commonTimeRange = CMTimeRangeGetIntersection(sourceVideo!.timeRange, otherRange: sourceAudio!.timeRange)
            }
            else if sourceVideo != nil
            {
                commonTimeRange = sourceVideo!.timeRange
            }
            else if sourceAudio != nil
            {
                commonTimeRange = sourceAudio!.timeRange
            }
            else
            {
                //  There’s neither video nor audio tracks, bail…

                continue
            }

            debugLog("Asset duration: \(asset.duration.seconds), common time range duration: \(commonTimeRange.duration.seconds)")

            //  Insert the video and audio tracks…

            if sourceVideo != nil
            {
                try videoTrack.insertTimeRange(commonTimeRange, of: sourceVideo!, at: time)
            }
            if sourceAudio != nil
            {
                try audioTrack.insertTimeRange(commonTimeRange, of: sourceAudio!, at: time)
            }

            time = time + commonTimeRange.duration
            inProgress(time)
        }

Answer 1

В контейнере mp4 каждая дорожка может иметь свое собственное время начала и продолжительность.Особенно в записанном материале весьма обычно иметь аудио и видео дорожки с немного отличающимися временными диапазонами (вставьте немного CMTimeRangeShow(track.timeRange) около insertTimeRange, чтобы взглянуть на это).

Чтобы преодолеть это, вместовслепую вставляя из CMTime.zero и длительность всего актива (максимальное время окончания всех треков):

• получить timeRange из источников аудио и видео дорожек
• вычислитьобщий диапазон времени из этих (CMTimeRangeGetIntersection делает это за вас)
• использует общий диапазон времени при вставке сегментов из исходных дорожек в дорожки назначения
• увеличивает ваш time напродолжительность общего временного диапазона