Проблема декодирования видео H264 через RTP с помощью ffmpeg (libavcodec)

Question

Я устанавливаю profile_idc, level_idc, extradata и extradata_size для AvCodecContext с набором ID-профиля-уровня и набора параметров sprop SDP.

Я разделяю декодирование пакетов Coded Slice, SPS, PPS и NAL_IDR_SLICE:

Init:

uint8_t start_sequence [] = {0, 0, 1}; int size = recv (id_de_la_socket, (char *) rtpReceive, 65535,0);

Кодированный фрагмент:

char *z = new char[size-16+sizeof(start_sequence)];
    memcpy(z,&start_sequence,sizeof(start_sequence));
    memcpy(z+sizeof(start_sequence),rtpReceive+16,size-16);
    ConsumedBytes = avcodec_decode_video(codecContext,pFrame,&GotPicture,(uint8_t*)z,size-16+sizeof(start_sequence));
    delete z;

Результат: ConsumedBytes> 0 и GotPicture> 0 (часто)

SPS и PPS:

идентичный код. Результат: ConsumedBytes> 0 и GotPicture = 0

Это нормально, я думаю

Когда я нахожу новую пару SPS / PPS, я обновляю extradata и extrada_size с полезными нагрузками этого пакета и их размером.

NAL_IDR_SLICE:

Тип блока Nal: 28 => idr Кадр фрагментирован для этого. Я попробовал два способа декодирования

1) Я добавляю к первому фрагменту (без заголовка RTP) последовательность 0x000001 и отправляю его по адресу avcodec_decode_video. Затем я отправляю остальные фрагменты этой функции.

2) Я добавляю к первому фрагменту (без заголовка RTP) последовательность 0x000001 и присоединяю к ней остальные фрагменты. Я отправляю этот буфер в декодер.

В обоих случаях у меня нет ошибки (ConsumedBytes> 0), но я не обнаруживаю ни одного кадра (GotPicture = 0) ...

В чем проблема?

Answer 1

В RTP все H264 I-кадры (IDR) обычно фрагментированы.Когда вы получаете RTP, вы должны сначала пропустить заголовок (обычно первые 12 байтов), а затем перейти к блоку NAL (первый байт полезной нагрузки).Если значение NAL равно 28 (1C), это означает, что следующая полезная нагрузка представляет один фрагмент H2R IDR (I-кадр) и что вам необходимо собрать все из них для восстановления H264 IDR (I-Frame).

Фрагментацияпроисходит из-за ограниченного MTU и гораздо большего IDR.Один фрагмент может выглядеть так:

Фрагмент с начальным битом = 1:

First byte:  [ 3 NAL UNIT BITS | 5 FRAGMENT TYPE BITS] 
Second byte: [ START BIT | END BIT | RESERVED BIT | 5 NAL UNIT BITS] 
Other bytes: [... IDR FRAGMENT DATA...]

Другие фрагменты:

First byte:  [ 3 NAL UNIT BITS | 5 FRAGMENT TYPE BITS]  
Other bytes: [... IDR FRAGMENT DATA...]

Чтобы восстановить IDR, вы должны собрать эту информацию:

int fragment_type = Data[0] & 0x1F;
int nal_type = Data[1] & 0x1F;
int start_bit = Data[1] & 0x80;
int end_bit = Data[1] & 0x40;

Если fragment_type == 28, то полезная нагрузка, следующая за ним, представляет собой один фрагмент IDR.Следующая проверка start_bit установлена, если это так, то этот фрагмент является первым в последовательности.Вы используете его для восстановления NAL-байта IDR, беря первые 3 бита из первого байта полезной нагрузки (3 NAL UNIT BITS) и комбинируя их с последними 5 битами из второго байта полезной нагрузки (5 NAL UNIT BITS), чтобы вы получили такой байт, как этот [3 NAL UNIT BITS | 5 NAL UNIT BITS].Затем сначала запишите этот байт NAL в чистый буфер со всеми другими следующими байтами из этого фрагмента.Не забудьте пропустить первый байт в последовательности, поскольку он не является частью IDR, а только идентифицирует фрагмент.

Если start_bit и end_bit равны 0, тогда просто запишите полезную нагрузку (пропуская первый байт полезной нагрузки, которыйидентифицирует фрагмент) в буфер.

Если start_bit равен 0, а end_bit равен 1, это означает, что это последний фрагмент, и вы просто записываете его полезную нагрузку (пропуская первый байт, который идентифицирует фрагмент) вбуфер, и теперь ваш IDR восстановлен.

Если вам нужен код, просто спросите в комментарии, я опубликую его, но я думаю, что это довольно ясно, как это сделать ... =)

ОТНОСИТЕЛЬНО ДЕКОДИРОВАНИЯ

Сегодня мне пришло в голову, почему вы получаете ошибку при декодировании IDR (я предположил, что вы восстановили его хорошо).Как вы строите свою запись конфигурации декодера AVC?Есть ли автоматизированная библиотека, которую вы используете?Если нет, и вы не слышали об этом, продолжайте чтение ...

Указана AVCDCR, чтобы позволить декодерам быстро анализировать все данные, необходимые для декодирования видеопотока H264 (AVC).И данные следующие:

• ProfileIDC
• ProfileIOP
• LevelIDC
• SPS (наборы параметров последовательности)
• PPS (Наборы параметров изображения)

Все эти данные отправляются в сеансе RTSP в SDP под полями: profile-level-id и sprop-parameter-sets.

DECODING PROFILE-LEVEL-ID

Строка идентификатора уровня Prifile разделена на 3 подстроки, каждая длиной 2 символа:

[PROFILE IDC][PROFILE IOP][LEVEL IDC]

Каждая подстрока представляет один байт в base16 !Таким образом, если IDC профиля равен 28, это означает, что он действительно равен 40 в base10.Позже вы будете использовать значения base10 для создания записи конфигурации декодера AVC.

DECODING SPROP-PARAMETER-SETS

Спропы обычно представляют собой 2 строки (может быть больше), которые являются запятымиотделяется, а base64 кодируется !Вы можете декодировать их обоих, но в этом нет необходимости.Ваша задача здесь - просто преобразовать их из строки base64 в байтовый массив для дальнейшего использования.Теперь у вас есть 2-байтовые массивы, первый массив с использованием SPS, второй - PPS.

СОЗДАНИЕ AVCDCR

Теперь у вас есть все, что нужно для построения AVCDCR, выначните с создания нового чистого буфера, теперь запишите эти вещи в следующем порядке:

1 - байт, имеющий значение 1 и представляющий версию

2 - профильБайт IDC

3 - байт IOP Prifile

4 - байт IDC уровня

5 - байт со значением 0xFF (посмотрите в записи конфигурации декодера AVC, что это)

6 - байт со значением 0xE1

7 - шорт со значением длины массива SPS

8 - байтовый массив SPS

9 - байт с номероммассивов PPS (их может быть больше в наборе параметров sprop)

10 - Короткое с длиной следующего массива PPS

11 - Массив PPS

ДЕКОДИРОВАНИЕ ВИДЕОТОРА

Теперь у вас есть байтовый массив, которыйсообщает декодеру, как декодировать видеопоток H264.Я полагаю, что вам это нужно, если ваша библиотека не создает ее из SDP ...

Answer 2

У меня есть реализация этого @ https://net7mma.codeplex.com/ для c #, но процесс везде одинаков.

Вот соответствующий код

/// <summary>
    /// Implements Packetization and Depacketization of packets defined in <see href="https://tools.ietf.org/html/rfc6184">RFC6184</see>.
    /// </summary>
    public class RFC6184Frame : Rtp.RtpFrame
    {
        /// <summary>
        /// Emulation Prevention
        /// </summary>
        static byte[] NalStart = { 0x00, 0x00, 0x01 };

        public RFC6184Frame(byte payloadType) : base(payloadType) { }

        public RFC6184Frame(Rtp.RtpFrame existing) : base(existing) { }

        public RFC6184Frame(RFC6184Frame f) : this((Rtp.RtpFrame)f) { Buffer = f.Buffer; }

        public System.IO.MemoryStream Buffer { get; set; }

        /// <summary>
        /// Creates any <see cref="Rtp.RtpPacket"/>'s required for the given nal
        /// </summary>
        /// <param name="nal">The nal</param>
        /// <param name="mtu">The mtu</param>
        public virtual void Packetize(byte[] nal, int mtu = 1500)
        {
            if (nal == null) return;

            int nalLength = nal.Length;

            int offset = 0;

            if (nalLength >= mtu)
            {
                //Make a Fragment Indicator with start bit
                byte[] FUI = new byte[] { (byte)(1 << 7), 0x00 };

                bool marker = false;

                while (offset < nalLength)
                {
                    //Set the end bit if no more data remains
                    if (offset + mtu > nalLength)
                    {
                        FUI[0] |= (byte)(1 << 6);
                        marker = true;
                    }
                    else if (offset > 0) //For packets other than the start
                    {
                        //No Start, No End
                        FUI[0] = 0;
                    }

                    //Add the packet
                    Add(new Rtp.RtpPacket(2, false, false, marker, PayloadTypeByte, 0, SynchronizationSourceIdentifier, HighestSequenceNumber + 1, 0, FUI.Concat(nal.Skip(offset).Take(mtu)).ToArray()));

                    //Move the offset
                    offset += mtu;
                }
            } //Should check for first byte to be 1 - 23?
            else Add(new Rtp.RtpPacket(2, false, false, true, PayloadTypeByte, 0, SynchronizationSourceIdentifier, HighestSequenceNumber + 1, 0, nal));
        }

        /// <summary>
        /// Creates <see cref="Buffer"/> with a H.264 RBSP from the contained packets
        /// </summary>
        public virtual void Depacketize() { bool sps, pps, sei, slice, idr; Depacketize(out sps, out pps, out sei, out slice, out idr); }

        /// <summary>
        /// Parses all contained packets and writes any contained Nal Units in the RBSP to <see cref="Buffer"/>.
        /// </summary>
        /// <param name="containsSps">Indicates if a Sequence Parameter Set was found</param>
        /// <param name="containsPps">Indicates if a Picture Parameter Set was found</param>
        /// <param name="containsSei">Indicates if Supplementatal Encoder Information was found</param>
        /// <param name="containsSlice">Indicates if a Slice was found</param>
        /// <param name="isIdr">Indicates if a IDR Slice was found</param>
        public virtual void Depacketize(out bool containsSps, out bool containsPps, out bool containsSei, out bool containsSlice, out bool isIdr)
        {
            containsSps = containsPps = containsSei = containsSlice = isIdr = false;

            DisposeBuffer();

            this.Buffer = new MemoryStream();

            //Get all packets in the frame
            foreach (Rtp.RtpPacket packet in m_Packets.Values.Distinct()) 
                ProcessPacket(packet, out containsSps, out containsPps, out containsSei, out containsSlice, out isIdr);

            //Order by DON?
            this.Buffer.Position = 0;
        }

        /// <summary>
        /// Depacketizes a single packet.
        /// </summary>
        /// <param name="packet"></param>
        /// <param name="containsSps"></param>
        /// <param name="containsPps"></param>
        /// <param name="containsSei"></param>
        /// <param name="containsSlice"></param>
        /// <param name="isIdr"></param>
        internal protected virtual void ProcessPacket(Rtp.RtpPacket packet, out bool containsSps, out bool containsPps, out bool containsSei, out bool containsSlice, out bool isIdr)
        {
            containsSps = containsPps = containsSei = containsSlice = isIdr = false;

            //Starting at offset 0
            int offset = 0;

            //Obtain the data of the packet (without source list or padding)
            byte[] packetData = packet.Coefficients.ToArray();

            //Cache the length
            int count = packetData.Length;

            //Must have at least 2 bytes
            if (count <= 2) return;

            //Determine if the forbidden bit is set and the type of nal from the first byte
            byte firstByte = packetData[offset];

            //bool forbiddenZeroBit = ((firstByte & 0x80) >> 7) != 0;

            byte nalUnitType = (byte)(firstByte & Common.Binary.FiveBitMaxValue);

            //o  The F bit MUST be cleared if all F bits of the aggregated NAL units are zero; otherwise, it MUST be set.
            //if (forbiddenZeroBit && nalUnitType <= 23 && nalUnitType > 29) throw new InvalidOperationException("Forbidden Zero Bit is Set.");

            //Determine what to do
            switch (nalUnitType)
            {
                //Reserved - Ignore
                case 0:
                case 30:
                case 31:
                    {
                        return;
                    }
                case 24: //STAP - A
                case 25: //STAP - B
                case 26: //MTAP - 16
                case 27: //MTAP - 24
                    {
                        //Move to Nal Data
                        ++offset;

                        //Todo Determine if need to Order by DON first.
                        //EAT DON for ALL BUT STAP - A
                        if (nalUnitType != 24) offset += 2;

                        //Consume the rest of the data from the packet
                        while (offset < count)
                        {
                            //Determine the nal unit size which does not include the nal header
                            int tmp_nal_size = Common.Binary.Read16(packetData, offset, BitConverter.IsLittleEndian);
                            offset += 2;

                            //If the nal had data then write it
                            if (tmp_nal_size > 0)
                            {
                                //For DOND and TSOFFSET
                                switch (nalUnitType)
                                {
                                    case 25:// MTAP - 16
                                        {
                                            //SKIP DOND and TSOFFSET
                                            offset += 3;
                                            goto default;
                                        }
                                    case 26:// MTAP - 24
                                        {
                                            //SKIP DOND and TSOFFSET
                                            offset += 4;
                                            goto default;
                                        }
                                    default:
                                        {
                                            //Read the nal header but don't move the offset
                                            byte nalHeader = (byte)(packetData[offset] & Common.Binary.FiveBitMaxValue);

                                            if (nalHeader > 5)
                                            {
                                                if (nalHeader == 6)
                                                {
                                                    Buffer.WriteByte(0);
                                                    containsSei = true;
                                                }
                                                else if (nalHeader == 7)
                                                {
                                                    Buffer.WriteByte(0);
                                                    containsPps = true;
                                                }
                                                else if (nalHeader == 8)
                                                {
                                                    Buffer.WriteByte(0);
                                                    containsSps = true;
                                                }
                                            }

                                            if (nalHeader == 1) containsSlice = true;

                                            if (nalHeader == 5) isIdr = true;

                                            //Done reading
                                            break;
                                        }
                                }

                                //Write the start code
                                Buffer.Write(NalStart, 0, 3);

                                //Write the nal header and data
                                Buffer.Write(packetData, offset, tmp_nal_size);

                                //Move the offset past the nal
                                offset += tmp_nal_size;
                            }
                        }

                        return;
                    }
                case 28: //FU - A
                case 29: //FU - B
                    {
                        /*
                         Informative note: When an FU-A occurs in interleaved mode, it
                         always follows an FU-B, which sets its DON.
                         * Informative note: If a transmitter wants to encapsulate a single
                          NAL unit per packet and transmit packets out of their decoding
                          order, STAP-B packet type can be used.
                         */
                        //Need 2 bytes
                        if (count > 2)
                        {
                            //Read the Header
                            byte FUHeader = packetData[++offset];

                            bool Start = ((FUHeader & 0x80) >> 7) > 0;

                            //bool End = ((FUHeader & 0x40) >> 6) > 0;

                            //bool Receiver = (FUHeader & 0x20) != 0;

                            //if (Receiver) throw new InvalidOperationException("Receiver Bit Set");

                            //Move to data
                            ++offset;

                            //Todo Determine if need to Order by DON first.
                            //DON Present in FU - B
                            if (nalUnitType == 29) offset += 2;

                            //Determine the fragment size
                            int fragment_size = count - offset;

                            //If the size was valid
                            if (fragment_size > 0)
                            {
                                //If the start bit was set
                                if (Start)
                                {
                                    //Reconstruct the nal header
                                    //Use the first 3 bits of the first byte and last 5 bites of the FU Header
                                    byte nalHeader = (byte)((firstByte & 0xE0) | (FUHeader & Common.Binary.FiveBitMaxValue));

                                    //Could have been SPS / PPS / SEI
                                    if (nalHeader > 5)
                                    {
                                        if (nalHeader == 6)
                                        {
                                            Buffer.WriteByte(0);
                                            containsSei = true;
                                        }
                                        else if (nalHeader == 7)
                                        {
                                            Buffer.WriteByte(0);
                                            containsPps = true;
                                        }
                                        else if (nalHeader == 8)
                                        {
                                            Buffer.WriteByte(0);
                                            containsSps = true;
                                        }
                                    }

                                    if (nalHeader == 1) containsSlice = true;

                                    if (nalHeader == 5) isIdr = true;

                                    //Write the start code
                                    Buffer.Write(NalStart, 0, 3);

                                    //Write the re-construced header
                                    Buffer.WriteByte(nalHeader);
                                }

                                //Write the data of the fragment.
                                Buffer.Write(packetData, offset, fragment_size);
                            }
                        }
                        return;
                    }
                default:
                    {
                        // 6 SEI, 7 and 8 are SPS and PPS
                        if (nalUnitType > 5)
                        {
                            if (nalUnitType == 6)
                            {
                                Buffer.WriteByte(0);
                                containsSei = true;
                            }
                            else if (nalUnitType == 7)
                            {
                                Buffer.WriteByte(0);
                                containsPps = true;
                            }
                            else if (nalUnitType == 8)
                            {
                                Buffer.WriteByte(0);
                                containsSps = true;
                            }
                        }

                        if (nalUnitType == 1) containsSlice = true;

                        if (nalUnitType == 5) isIdr = true;

                        //Write the start code
                        Buffer.Write(NalStart, 0, 3);

                        //Write the nal heaer and data data
                        Buffer.Write(packetData, offset, count - offset);

                        return;
                    }
            }
        }

        internal void DisposeBuffer()
        {
            if (Buffer != null)
            {
                Buffer.Dispose();
                Buffer = null;
            }
        }

        public override void Dispose()
        {
            if (Disposed) return;
            base.Dispose();
            DisposeBuffer();
        }

        //To go to an Image...
        //Look for a SliceHeader in the Buffer
        //Decode Macroblocks in Slice
        //Convert Yuv to Rgb
    }

Есть также реализациидля различных других RFC, которые помогают заставить мультимедиа воспроизводиться в MediaElement или в другом программном обеспечении или просто сохраняют его на диск.

Выполняется запись в формат контейнера.

Answer 3

Я не знаю об остальной части вашей реализации, но, вероятно, «фрагменты», которые вы получаете, являются единицами NAL. Поэтому каждому из них может понадобиться начальный код NALU (00 00 01 или 00 00 00 01), добавляемый при восстановлении потока битов перед отправкой его в ffmpeg.

В любом случае, вы можете найти RFC для пакетирования RTP H264 полезным:

http://www.rfc -editor.org / гк / rfc3984.txt

Надеюсь, это поможет!