Приложение, которое я пытаюсь написать, берет видеопоток на основе видеосервера в моей сети и отображает его в окне winforms (а позже я надеюсь разместить такой же тип управления в WPF). Я использую gstreamer-sharp, поскольку мое приложение основано на c # .net.
Я успешно запустил videotestsrc, основываясь на примере кода в этом ответе , и смог создать несколько экземпляров testvideosrc, отображаемых в соответствии с требованиями в окне, используя VideoOverlayAdapter и набор панелей winForms.
Когда я приступил к тому, чтобы rtspsrc делал то же самое, я, естественно, столкнулся с некоторыми препятствиями, которые я пытаюсь преодолеть, код моего класса приведен ниже.
Вместо того, чтобы связывать rtspsrc в инициализирующем коде, я считаю, что мне нужно связать новую площадку rtspsrc со следующим элементом (в данном случае rtph264depay), и здесь я столкнулся с проблемой.
Кажется, что событие PadAdded вызывается иногда в течение нескольких секунд после запуска программы, а иногда нет вообще? Сервер работает отлично с версией gstreamer-sharp базовых руководств (часть 1) и с хорошей задержкой (легко менее 300 мс, но мне нужно выполнить тест «стекло-стекло», как только у меня будет работать приложение).
Также, когда событие PadAdded, наконец, сработало, я получаю статус NOFORMAT при попытке связать новый пэд с пэдом приемника rtph264depay.
Я также заметил, что я не получаю сообщение о синхронизации шины дескриптора окна подготовки, в котором я бы установил адаптер наложения видео, как в примере с gstVideoOverlay (поэтому я не получу вывод на нужный дескриптор окна, даже если связывание пэда прошло успешно).
Мне не удалось найти эту конкретную проблему (панель rtspsrc не связана с панелью приемника rtph264depay), так как похожие вопросы касаются связывания других элементов.
Исходное связывание оставшихся элементов в исходном коде является успешным в соответствии с сообщениями отладки.
Конечной целью было бы вставить фреймы в OpenCV / Emgu и провести некоторый анализ и базовую работу над оверлеями.
Любая помощь по этому вопросу будет высоко ценится.
Большое спасибо!
/// <summary>
/// class to create a gstreamer pipeline based on an rtsp stream at the provided URL
/// </summary>
class gstPipeline2
{
// elements for the pipeline
private Element rtspsrc, rtph264depay, decoder, videoConv, videoSink;
private System.Threading.Thread mainGLibThread;
private GLib.MainLoop mainLoop;
// the window handle (passed in)
private IntPtr windowHandle;
// our pipeline
private Pipeline currentPipeline = null;
/// <summary>
/// Create a new gstreamer pipeline rendering the stream at URL into the provided window handle
/// </summary>
/// <param name="WindowHandle">The handle of the window to render to </param>
/// <param name="Url">The url of the video stream</param>
public gstPipeline2(IntPtr WindowHandle, string Url)
{
windowHandle = WindowHandle; // get the handle and save it locally
// initialise the gstreamer library and associated threads (for diagnostics)
Gst.Application.Init();
mainLoop = new GLib.MainLoop();
mainGLibThread = new System.Threading.Thread(mainLoop.Run);
mainGLibThread.Start();
// create each element now for the pipeline
// starting with the rtspsrc
rtspsrc = ElementFactory.Make("rtspsrc", "udpsrc0"); // create an rtsp source
rtspsrc["location"] = Url; // and set its location (the source of the data)
rtph264depay = ElementFactory.Make("rtph264depay", "rtph264depay0");
decoder = ElementFactory.Make("avdec_h264", "decoder0");
videoConv = ElementFactory.Make("videoconvert", "videoconvert0");
videoSink = ElementFactory.Make("autovideosink", "sink0"); // and finally the sink to render the video (redirected to the required window handle below in Bus_SyncMessage() )
// create our pipeline which links all the elements together into a valid data flow
currentPipeline = new Pipeline("pipeline");
currentPipeline.Add(rtspsrc, rtph264depay, decoder, videoConv, videoSink); // add the required elements into it
// link the various bits together in the correct order
if(!rtph264depay.Link(decoder))
System.Diagnostics.Debug.WriteLine("rtph264depay could not be linked to decoder (bad)");
else
System.Diagnostics.Debug.WriteLine("rtph264depay linked to decoder (good)");
if (!decoder.Link(videoConv))
System.Diagnostics.Debug.WriteLine("decoder could not be linked to videoconvert (bad)");
else
System.Diagnostics.Debug.WriteLine("decoder linked to videoconvert (good)");
if (!videoConv.Link(videoSink))
System.Diagnostics.Debug.WriteLine("videoconvert could not be linked to autovideosink (bad)");
else
System.Diagnostics.Debug.WriteLine("videoconvert linked to autovideosink (good)");
rtspsrc.PadAdded += Rtspsrc_PadAdded; // subscribe to the PadAdded event so we can link new pads (sources of data?) to the depayloader when they arrive
// subscribe to the messaging system of the bus and pipeline so we can minotr status as we go
Bus bus = currentPipeline.Bus;
bus.AddSignalWatch();
bus.Message += Bus_Message;
bus.EnableSyncMessageEmission();
bus.SyncMessage += Bus_SyncMessage;
// finally set the state of the pipeline running so we can get data
var setStateReturn = currentPipeline.SetState(State.Null);
System.Diagnostics.Debug.WriteLine("SetStateNULL returned: " + setStateReturn.ToString());
setStateReturn = currentPipeline.SetState(State.Ready);
System.Diagnostics.Debug.WriteLine("SetStateReady returned: " + setStateReturn.ToString());
setStateReturn = currentPipeline.SetState(State.Playing);
System.Diagnostics.Debug.WriteLine("SetStatePlaying returned: " + setStateReturn.ToString());
}
private void Rtspsrc_PadAdded(object o, PadAddedArgs args)
{
System.Diagnostics.Debug.WriteLine("Rtspsrc_PadAdded: called with new pad named: " + args.NewPad.Name);
// a pad has been added to the source so we need to link it to the rest of the pipeline to ultimately display it onscreen
Pad sinkPad = rtph264depay.GetStaticPad("sink"); // get the sink pad for the one we have recieved so we can link to the depayloader element
System.Diagnostics.Debug.WriteLine("Rtspsrc_PadAdded: rtps264depay sink pad returned: " + sinkPad.Name);
PadLinkReturn ret = args.NewPad.Link(sinkPad);
System.Diagnostics.Debug.WriteLine("Rtspsrc_PadAdded: link attempt returned: " + ret.ToString());
}
public void killProcess()
{
mainLoop.Quit();
}
private void Bus_SyncMessage(object o, SyncMessageArgs args)
{
if (Gst.Video.Global.IsVideoOverlayPrepareWindowHandleMessage(args.Message))
{
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: Message prepare window handle received by: " + args.Message.Src.Name + " " + args.Message.Src.GetType().ToString());
if (args.Message.Src != null)
{
// these checks were in the testvideosrc example and failed, args.Message.Src is always Gst.Element???
if (args.Message.Src is Gst.Video.VideoSink)
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: source is VideoSink");
else
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: source is NOT VideoSink");
if (args.Message.Src is Gst.Bin)
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: source is Bin");
else
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: source is NOT Bin");
try
{
args.Message.Src["force-aspect-ratio"] = true;
}
catch (PropertyNotFoundException) { }
try
{
Gst.Video.VideoOverlayAdapter adapter = new VideoOverlayAdapter(args.Message.Src.Handle);
adapter.WindowHandle = windowHandle;
adapter.HandleEvents(true);
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: Handle passed to adapter: " + windowHandle.ToString());
}
catch (Exception ex) { System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: Exception Thrown (overlay stage): " + ex.Message); }
}
}
else
{
string info;
IntPtr prt;
args.Message.ParseInfo(out prt, out info);
System.Diagnostics.Debug.WriteLine("Bus_SyncMessage: " + args.Message.Type.ToString() + " - " + info);
}
}
private void Bus_Message(object o, MessageArgs args)
{
var msg = args.Message;
//System.Diagnostics.Debug.WriteLine("HandleMessage received msg of type: {0}", msg.Type);
switch (msg.Type)
{
case MessageType.Error:
//
GLib.GException err;
string debug;
System.Diagnostics.Debug.WriteLine("Bus_Message: Error received: " + msg.ToString());
break;
case MessageType.StreamStatus:
Gst.StreamStatusType status;
Element theOwner;
msg.ParseStreamStatus(out status, out theOwner);
System.Diagnostics.Debug.WriteLine("Bus_Message: Case SteamingStatus: status is: " + status + " ; Owner is: " + theOwner.Name);
break;
case MessageType.StateChanged:
State oldState, newState, pendingState;
msg.ParseStateChanged(out oldState, out newState, out pendingState);
if (newState == State.Paused)
args.RetVal = false;
System.Diagnostics.Debug.WriteLine("Bus_Message: Pipeline state changed from {0} to {1}: ; Pending: {2}", Element.StateGetName(oldState), Element.StateGetName(newState), Element.StateGetName(pendingState));
break;
case MessageType.Element:
System.Diagnostics.Debug.WriteLine("Bus_Message: Element message: {0}", args.Message.ToString());
break;
default:
System.Diagnostics.Debug.WriteLine("Bus_Message: HandleMessage received msg of type: {0}", msg.Type);
break;
}
args.RetVal = true;
}
}