Я пытаюсь написать приложение для записи рабочего стола Windows в видеофайл.Я использую API дублирования рабочего стола и Media Foundation API.В частности, я использую класс SinkWriter от Media Foundation.Я потребляю Texture2D объектов из API Desktop Duplication и передаю их в SinkWriter, что обеспечивает хороший аппаратно ускоренный конвейер.Я также использую C # с SharpDX.
По большей части весь проект работает очень хорошо.он работает безупречно на моем Surface Pro, без проблем записывая достаточно стабильное видео в секунду.
Проблема была на другом оборудовании.В частности, я проверил, я проверял это на AMD Ryzen с дискретным графическим процессором Nvidia.Это также работает довольно хорошо ... за исключением того, что после записи рабочего стола в течение обычно от 8 до 20 секунд программа будет заблокирована либо на outputDuplication.ReleaseFrame(), либо на outputDuplication.AcquireNextFrame().Он не падает, он просто зависает, поэтому я не уверен, как выяснить, что происходит.Я точно знаю, что это как-то связано с передачей текстуры рабочего стола в функцию sinkWriter.WriteSample().Если я удалю эту строку и оставлю все то же самое, как и в случае продолжения создания MediaBuffers и MediaSamples, как обычно, свяжу их с моей текстурой рабочего стола, но просто не передам образец методу WriteSampleтогда приложение может счастливо «записывать», казалось бы, бесконечно.
Я проверил каждую потенциальную ошибку, о которой я могу думать.Я убедился, что все объекты утилизированы, когда они должны быть.Нет никаких утечек памяти, которые я вижу.В коде используется SetAllocator() метод MediaSample, поэтому текстуры, которые я передаю SinkWriter, перерабатываются.Из того, что я могу сказать, все это работает правильно.
Я подозреваю, что есть кое-что основное, что я не понимаю здесь.Такое чувство, что я допустил какую-то ошибку в правильном управлении неуправляемыми ресурсами за SharpDX, но я действительно не знаю, с чего начать.Любые указатели были бы в огромной степени оценены на этом этапе.
Вот основной код захвата.Это не все, но большая часть.Я подозреваю, что проблема где-то здесь.
static void WriteFrame(SinkWriter sinkWriter, int steamIndex, long time, long duration, int width, int height, Texture2D texture, TextureAllocator textureAllocator)
{
MediaBuffer textureBuffer;
MediaFactory.CreateDXGISurfaceBuffer(texture.GetType().GUID, texture, 0, false, out textureBuffer);
using (var buffer2d = textureBuffer.QueryInterface<Buffer2D>())
{
textureBuffer.CurrentLength = buffer2d.ContiguousLength;
}
using (var sample = MediaFactory.CreateVideoSampleFromSurface(null))
{
sample.SampleTime = time;
sample.SampleDuration = duration;
sample.AddBuffer(textureBuffer);
using(var trackedSample = sample.QueryInterface<TrackedSample>())
{
trackedSample.SetAllocator(textureAllocator, null);
}
sinkWriter.WriteSample(steamIndex, sample);
}
textureBuffer.Dispose();
}
void captureAction()
{
MediaManager.Startup(true);
int streamIndex = 0;
var whichOutputDevice = 0;
var whichAdapter = 0;
using (var factory = new Factory1())
{
using (var adapter = factory.GetAdapter1(whichAdapter))
{
using (var mDevice = new SharpDX.Direct3D11.Device(adapter))
{
using (var dXGIDeviceManager = new DXGIDeviceManager())
{
dXGIDeviceManager.ResetDevice(mDevice);
using (var output = adapter.GetOutput(whichOutputDevice))
{
using (var output1 = output.QueryInterface<Output1>())
{
var mOutputDesc = output.Description;
var mTextureDesc = new Texture2DDescription()
{
CpuAccessFlags = CpuAccessFlags.Read,
BindFlags = BindFlags.None,
Format = Format.B8G8R8A8_UNorm,
Width = mOutputDesc.DesktopBounds.Right - mOutputDesc.DesktopBounds.Left,
Height = mOutputDesc.DesktopBounds.Bottom - mOutputDesc.DesktopBounds.Top,
OptionFlags = ResourceOptionFlags.None,
MipLevels = 1,
ArraySize = 1,
SampleDescription = { Count = 1, Quality = 0 },
Usage = ResourceUsage.Staging
};
using (var outputDuplication = output1.DuplicateOutput(mDevice))
{
using (var sinkWriter = InitialiseSinkWriter(path, out streamIndex, mTextureDesc.Width, mTextureDesc.Height, frameRate, mDevice, dXGIDeviceManager, preferHardwareAcceleration))
{
using (var rgbToNv12 = new RGBToNV12ConverterD3D11(mDevice, mDevice.ImmediateContext, mTextureDesc.Width, mTextureDesc.Height))
{
var newDesc = mTextureDesc;
if (forceNV12)
newDesc.Format = Format.NV12;
newDesc.BindFlags = BindFlags.RenderTarget;
newDesc.Usage = ResourceUsage.Default;
newDesc.CpuAccessFlags = CpuAccessFlags.None;
var textureAllocator = new TextureAllocator(mDevice, newDesc);
{
var timeStart = 0L;
var frameCount = 0;
var totalAFMilliseconds = 0.0;
var lastTimeStamp = 0L;
var frameAquired = false;
for (int i = 0; !stopCapture; i++)
{
var sleepAmount = Math.Max(0, (1000 / frameRate) / 2);
System.Threading.Thread.Sleep(sleepAmount);
frameCount++;
SharpDX.DXGI.Resource desktopResource = null;
var frameInfo_ = new OutputDuplicateFrameInformation();
var sw = new Stopwatch();
sw.Start();
var outputLoopCount = 0;
if (outputDuplication != null)
{//desktop duplication
int aquireFrameLoopCount = 0;
while (frameInfo_.LastPresentTime == 0)
{
aquireFrameLoopCount++;
if (aquireFrameLoopCount > 1)
{
System.Threading.Thread.Sleep(1);
}
if (frameAquired)
try
{
outputDuplication.ReleaseFrame();
frameAquired = false;
}
catch (Exception e)
{
}
try
{
outputDuplication.AcquireNextFrame(500, out frameInfo_, out desktopResource);
frameAquired = true;
}
catch (Exception e)
{
}
outputLoopCount++;
}
Debug.Assert(frameInfo_.LastPresentTime != 0);
Debug.Assert(frameInfo_.AccumulatedFrames != 0);
}
sw.Stop();
var frameCaptureTime = frameCount * TimeSpan.FromSeconds(1.0 / frameRate).Ticks;
frameCaptureTime = DateTime.Now.ToFileTimeUtc();
var aqTime = TimeSpan.FromSeconds((double)sw.ElapsedTicks / Stopwatch.Frequency);
totalAFMilliseconds += aqTime.TotalMilliseconds;
if (desktopResource != null)
using (var desktopTexture = desktopResource?.QueryInterface<Texture2D>())
{
Texture2D desktopTextureCopy = null;
try
{
desktopTextureCopy = textureAllocator.AllocateTexture();
}
catch (SharpDX.SharpDXException e)
{
var result = mDevice.DeviceRemovedReason;
result.CheckError();
throw e;
}
if (outputDuplication != null)
rgbToNv12.ConvertRGBToNV12(desktopTexture, desktopTextureCopy);
if (frameCount == 2)
timeStart = lastTimeStamp;
Console.WriteLine("Writing frame {0}", TimeSpan.FromTicks(frameCaptureTime - lastTimeStamp).ToString());
if (frameCount > 0)
{
var frameDuration = TimeSpan.FromSeconds(1.0 / frameRate).Ticks;
var time = (frameCount - 2) * frameDuration;
WriteFrame(sinkWriter, streamIndex, lastTimeStamp - timeStart, frameCaptureTime - lastTimeStamp, desktopTextureCopy.Description.Width, desktopTextureCopy.Description.Height, desktopTextureCopy, textureAllocator);
Console.WriteLine("frame written");
}
desktopTextureCopy.Dispose();
}
lastTimeStamp = frameCaptureTime;
CaptureTime = TimeSpan.FromTicks(lastTimeStamp - timeStart);
if (CaptureFramesChanged != null)
{
CaptureFramesChanged.Invoke(null, new EventArgs());
}
Console.WriteLine("end of loop");
}
stopCapture = false;
Console.WriteLine("Total AquireFrame time: {0}", totalAFMilliseconds / (300 * (1000 / frameRate)));
Console.WriteLine("Begining finalise");
sinkWriter.Finalize();
}
}
}
}
}
}
}
}
}
}
MediaManager.Shutdown();
}
Спасибо