Live Streaming (Socket) - Как синхронизировать аудио и видео? - PullRequest
Новая
       28

Live Streaming (Socket) - Как синхронизировать аудио и видео?

7 голосов
/ 29 октября 2010

1 - Какой из них лучше использовать для потокового видео? TCP или UDP сокет и почему?

2- Во время потоковой трансляции аудио и видео поступают с сервера отдельно, так как я могу убедиться, что отображаемое видео и воспроизводимое на устройстве аудио синхронизированы?

Ответы [ 3 ]

5 голосов
/ 29 октября 2010

Некоторое время назад я написал приложение для голосового чата, и о TCP не могло быть и речи, UDP-многоадресная рассылка действительно единственный путь, если вы ищете поток данных почти в реальном времени.Однако при потоковой передаче по UDP есть две основные проблемы:

  1. Пропущенные пакеты .В случае с аудио это довольно легко исправить.Обычно отброшенные пакеты не будут иметь различий (пакеты распаковываются индивидуально).Однако при работе с видео, особенно если оно сжато (обычно это так), определение правильного протокола передачи, обеспечивающего надежность сети, является, по меньшей мере, сложной задачей, особенно если вы делаете это с нуля.Кадры видео разбиты на различные пакеты.Трудно понять, что делать, если эти пакеты отсутствуют.
  2. Синхронизация между аудио и видео .Это очень сложная проблема, и я предлагаю ознакомиться с такими протоколами, как RTSP (протокол потоковой передачи в реальном времени).Это не простая задача, но вот некоторая вводная информация: http://www.cs.columbia.edu/~hgs/rtsp/ - иногда это делается путем отправки отдельных пакетов синхронизации (некоторые протоколы отправляют их по TCP), которые сообщают проигрывателю, как звук должен соответствовать видео.
1 голос
/ 29 октября 2010

Я бы сделал UDP. Однако это зависит от того, что вы хотите. UDP будет отбрасывать пакеты, а не ждать (TCP). Компромисс заключается в том, хотите ли вы стабильного, но иногда медленного и дорогостоящего или эффективного, но иногда не доставленного. Выбор за вами, когда вы решите, как вы хотите его реализовать и как вы его используете.

0 голосов
/ 04 февраля 2016

Сегодня даже потоки YouTube через HTTP ... вот приложение nodejs, которое передает файл клиенту браузера ... используйте в качестве отправной точки для прямой трансляции потокового видео со звуком синхронно 

// usage 
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
//    http://localhost:8888
//
// of course your browser could be on your mobile or own custom app



var http = require('http'),
    fs = require('fs'),
    util = require('util');

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here

var port = 8888;
var host = "localhost";

http.createServer(function (req, res) {

  var stat = fs.statSync(path);
  var total = stat.size;

  if (req.headers.range) {   // meaning client (browser) has moved the forward/back slider
                                         // which has sent this request back to this server logic ... cool
    var range = req.headers.range;
    var parts = range.replace(/bytes=/, "").split("-");
    var partialstart = parts[0];
    var partialend = parts[1];

    var start = parseInt(partialstart, 10);
    var end = partialend ? parseInt(partialend, 10) : total-1;
    var chunksize = (end-start)+1;
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);

    var file = fs.createReadStream(path, {start: start, end: end});
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
    file.pipe(res);

  } else {

    console.log('ALL: ' + total);
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
    fs.createReadStream(path).pipe(res);
  }
}).listen(port, host);

console.log("Server running at http://" + host + ":" + port + "/");
...