MediaCodec не декодирует кодированные видеоданные H264 - PullRequest
Новая
       79

MediaCodec не декодирует кодированные видеоданные H264

0 голосов
/ 29 января 2019

Я занимаюсь разработкой приложения, которое получает данные в кодировке H264 по RTP, и у меня возникают проблемы с выводом MediaCodec для Android.Я распаковываю пакеты RTP, как описано здесь https://stackoverflow.com/a/7668578/10788248

После того, как закодированные кадры были повторно собраны, я подаю их в буфер входных данных, снятый с обработки.входные буферы, но метод onOutputBufferAvailable никогда не вызывается обратным вызовом декодера.

Единственный способ, которым я могу вызвать его, - это передать флаг конца потока, а затем размер вывода0.

Мои вопросы: «Что-то явно не так, что я скучаю?»и «какие потенциальные проблемы могут привести к тому, что выходные буферы никогда не станут доступными, но кодек не выдаст ошибку?»

Код обновлен 

LinkedList<DatagramPacket> packets = new LinkedList<>();
Thread socketReader = new Thread(() -> {
        try {
            DatagramSocket socket  = new DatagramSocket(videoPort);
            socket.connect(InetAddress.getByName(remoteAddress),remotePort);
            byte[] b;
            while (true){
                b = new byte[1500];
                DatagramPacket p = new DatagramPacket(b,1500);
                socket.receive(p);
                //Log.d(TAG,"RTP: "+bytesToHex(p.getData()));
                packets.add(p);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    });
@SuppressLint({"NewApi", "LocalSuppress"}) Thread packetHandler = new Thread(() -> {
        try {
            MediaCodec decoder = MediaCodec.createDecoderByType(MIME_TYPE);
            MediaFormat decoderFormat = MediaFormat.createVideoFormat(MIME_TYPE, 1280, 720);
            LinkedList<ByteBuffer> decoderInputs = new LinkedList<>();
            LinkedList<Integer> decoderIndices = new LinkedList<>();

            decoder.setCallback(new MediaCodec.Callback() {
                @Override
                public void onInputBufferAvailable(@NonNull MediaCodec codec, int index) {
                    decoderInputs.add(codec.getInputBuffer(index));
                    decoderIndices.add(new Integer(index));
                }

                @Override
                public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index, @NonNull MediaCodec.BufferInfo info) {
                    Log.d(TAG,"OUTPUT AVAILABLE!!!!");
                    Log.d(TAG, String.valueOf(info.size));
                }

                @Override
                public void onError(@NonNull MediaCodec codec, @NonNull MediaCodec.CodecException e) {
                    Log.e(TAG,e.toString());
                }
                @Override
                public void onOutputFormatChanged(@NonNull MediaCodec codec, @NonNull MediaFormat format) {
                    Log.d(TAG,"FORMAT CHANGED");
                }
            });
            decoder.configure(decoderFormat, null,null,0);
            decoder.start();
            RTPFrame frame = new RTPFrame();
            boolean sps = false;
            boolean pps = false;
            while (true){
                if(decoderIndices.peek()!=null){
                    DatagramPacket packet = packets.poll();
                    if(packet!=null){
                        byte[] data = packet.getData();
                        if(frame==null||(!frame.isInitialized())){
                            frame = new RTPFrame(data);
                        }
                        else{
                            if(frame.isComplete()){
                                Integer index = null;
                                ByteBuffer decoderInput = null;
                                try {
                                    decoderInput = decoderInputs.poll().put(frame.getFrame());
                                    index = decoderIndices.poll();
                                    int size = frame.getFrameSize();
                                    if (frame.SPS) {
                                        Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                        decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
                                        sps = true;
                                        pps = false;
                                    } else if (frame.PPS) {
                                        if(sps){
                                            Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                            decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
                                            pps = true;
                                        }
                                    } else if (!frame.badFrame) {
                                        if(sps&&pps){
                                            Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                            decoder.queueInputBuffer(index, 0, size, frame.getTime(), 0);
                                        }
                                    }
                                    else{
                                        throw new RuntimeException();
                                    }
                                }
                                catch(Exception e){
                                    e.printStackTrace();
                                    if(index!=null){
                                        decoderIndices.push(index);
                                    }
                                    decoderInput.clear();
                                    decoderInputs.push(decoderInput);
                                }
                                frame = new RTPFrame();
                            }
                            else{
                                frame.addNALUnit(data);
                            }
                        }
                        if(frame.isComplete()){
                            Integer index = null;
                            ByteBuffer decoderInput = null;
                            try {
                                decoderInput = decoderInputs.poll().put(frame.getFrame());
                                index = decoderIndices.poll();
                                int size = frame.getFrameSize();
                                if (frame.SPS) {
                                    Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                    decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
                                    sps = true;
                                    pps = false;
                                } else if (frame.PPS) {
                                    if(sps){
                                        Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                        decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
                                        pps = true;
                                    }
                                } else if (!frame.badFrame) {
                                    if(sps&&pps){
                                        Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
                                        decoder.queueInputBuffer(index, 0, size, frame.getTime(), 0);
                                    }
                                }
                                else{
                                    throw new Exception("bad frame");
                                }
                            }
                            catch(Exception e){
                                e.printStackTrace();
                                if(index!=null){
                                    decoderIndices.push(index);
                                }
                                decoderInput.clear();
                                decoderInputs.push(decoderInput);
                            }
                            frame = new RTPFrame();
                        }
                    }
                }
            }
        } catch (Exception e) {e.printStackTrace();}
    });

Вот примервсе единицы NAL, которые я получил за 1 кадр, и как я их распаковал.

RTP: 80 63 00 2D 27 0E 64 30 66 B4 BA 42 3C 81 E0 00 80 6F ...

RTP: 80 63 00 2E 27 0E 64 30 66 B4 BA 42 3C 01 F3 0F E0 3F ...

RTP: 80 63 00 2F 27 0E 64 30 66 B4 BA 42 3C 01 379B FA BA ...

RTP: 80 63 00 30 27 0E 64 30 66 B4 BA 42 3C 01 7F EA 75 7C ...

RTP: 80 63 00 31 27 0E 6430 66 B4 BA 42 3C 01 FA D8 A9 FF ...

RTP: 80 63 00 32 27 0E 64 30 66 B4 BA 42 3C 01 1B C5 BC C0 ...

RTP: 80 63 00 33 27 0E 64 30 66 B4 BA 42 3C 01 0F F4 9A DE ...

RTP: 80 63 00 34 27 0E 64 30 66 B4 BA 42 3C 01 F4 35 CD 28 ...

RTP: 80 63 00 35 27 0E 64 30 66 B4 BA 42 3C 01 9E 45 70 13 ...

RTP: 80 E3 00 36 27 0E 64 30 66 B4 BA 423C 41 0F18 0D 83 ...

D / RTP-считыватель: распакован на 2985639104 длина = 12611: 00 00 00 01 21 E0 00 80 6F F0 B4 24 CD 5F 45 80 79 6E 0C ...

Вот пример SPS и PPS до и после депакетирования

RTP: 80 63 00 00 5F DF A1 70 4F 2F 8A 3E 27 42 00 1F 8D 68 05 00 5B A1 00 00 0300 01 00 00 03 00 1E 0F 10 7A 80

Распакован в 1608491376 длина = 27: 00 00 01 27 42 00 1F 8D 68 05 00 5B A1 00 00 03 00 01 00 00 03 00 1E 0F 10 7A80

Распаковано в 1608491376 длина = 7: 00 00 01 28 CE 32 48

RTP: 80 63 00 01 5F DF A1 70 4F 2F 8A 3E 28 CE 32 48

1 Ответ

0 голосов
/ 04 февраля 2019

Я хотел бы поблагодарить @ greeble31 и @ChrisBe за помощь в выяснении проблемы.Проблема была действительно с моим классом RTPFrame.В частности, метод getFrame(), который перебирает список байтовых буферов, содержащих данные блока NAL, и использует put(ByteBuffer) для добавления их к bb.Это увеличивало position на bb до тех пор, пока оно не стало равным limit. 

public ByteBuffer getFrame() {
    size = 4;
    int nalCount = nalUnits.size();
    for (int i = 0;i<nalCount;i++){
        size+=nalUnits.get(i).data.length;
    }

    ByteBuffer bb = ByteBuffer.allocate(size);
    bb.put(new byte[]{0,0,0,1});
    for(NALUnit unit:nalUnits){
        bb.put(unit.data);
    }
    return bb;
}

Изменение return bb; на return (ByteBuffer)bb.position(0); устранило проблему.

...