Unity - извлечение массива пикселей камеры происходит невероятно медленно - PullRequest
Новая
       38

Unity - извлечение массива пикселей камеры происходит невероятно медленно

0 голосов
/ 12 июля 2020

Я использую приведенные ниже строки кода для извлечения массива пикселей из камеры в каждом кадре, сохранения его как jpg и затем запуска процесса python для jpg. Хотя это работает, это невероятно медленно. Кажется, что узким местом является считывание пикселей в единстве. Сам процесс python длится всего 0,02 секунды.

Может ли кто-нибудь предложить относительно простые способы ускорить этот процесс?

Я видел этот , но он слишком высокий уровень, чтобы я мог понять, как адаптировать его к моему варианту использования. 

public override void Initialize()
{
    renderTexture = new RenderTexture(84, 84, 24);
    rawByteData = new byte[84 * 84 * bytesPerPixel];
    texture2D = new Texture2D(84, 84, TextureFormat.RGB24, false);
    rect = new Rect(0, 0, 84, 84);
    cam.targetTexture = renderTexture;

}
private List<float> run_cmd()
{
    // Setup a camera, texture and render texture
    cam.targetTexture = renderTexture;
    cam.Render();
    // Read pixels to texture
    RenderTexture.active = renderTexture;
    texture2D.ReadPixels(rect, 0, 0);
    rawByteData = ImageConversion.EncodeToJPG(texture2D);
    // Assign random temporary filename to jpg
    string fileName = "/media/home/tmp/" + Guid.NewGuid().ToString() + ".jpg";
    File.WriteAllBytes(fileName, rawByteData); // Requires System.IO

     // Start Python process
     ProcessStartInfo start = new ProcessStartInfo();
     start.FileName = "/media/home/path/to/python/exe";
     start.Arguments = string.Format(
        "/media/home/path/to/pythonfile.py photo {0}", fileName);
     start.UseShellExecute = false;
     start.RedirectStandardOutput = true;
     start.RedirectStandardError = true;
     string stdout;
     using(Process process = Process.Start(start))
     {
         using(StreamReader reader = process.StandardOutput)
         {
             stdout = reader.ReadToEnd();
         }
     }

    string[] tokens = stdout.Split(',');
    List<float> result = tokens.Select(x => float.Parse(x)).ToList();
    System.IO.File.Delete(fileName);

    return result;


}

1 Ответ

0 голосов
/ 13 июля 2020

В Unity 2018.1 была добавлена ​​новая система для асинхронного c чтения данных с GPU - https://docs.unity3d.com/ScriptReference/Rendering.AsyncGPUReadback.html, и в этой необязательной камере для получения массива текстур я написал простой пример, который хорошая работа и довольно быстро: 

using System.Collections;
using System.IO;
using System.Threading.Tasks;
using UnityEngine;
using UnityEngine.Experimental.Rendering;
using UnityEngine.Rendering;

public class CameraTextureTest : MonoBehaviour
{
    private GraphicsFormat format;
    
    private int frameIndex = 0;
    
    IEnumerator Start()
    {
        yield return new WaitForSeconds(1);

        while (true)
        {
            yield return new WaitForSeconds(0.032f);
            yield return new WaitForEndOfFrame();

            var rt = RenderTexture.GetTemporary(Screen.width, Screen.height, 32);

            format = rt.graphicsFormat;

            ScreenCapture.CaptureScreenshotIntoRenderTexture(rt);
            
            AsyncGPUReadback.Request(rt, 0, TextureFormat.RGBA32, OnCompleteReadback);
            
            RenderTexture.ReleaseTemporary(rt);
        }
    }


    void OnCompleteReadback(AsyncGPUReadbackRequest request)
    {
        if (request.hasError)
        {
            Debug.Log("GPU readback error detected.");
            return;
        }

        byte[] array = request.GetData<byte>().ToArray();
        
        Task.Run(() =>
        {
            File.WriteAllBytes($"D:/Screenshots/Screenshot{frameIndex}.png",ImageConversion.EncodeArrayToPNG(array, format, (uint) Screen.width, (uint) Screen.height));
        });

        frameIndex++;
    }
}

Вы можете адаптировать этот пример под свою задачу.

...