Контекст выполнения TensorRT в рабочем потоке не работает должным образом или вызывает сбои

Question

У меня есть этот класс потока, созданный для выполнения логического вывода с TensorRT:

class GPUThread(threading.Thread):

  def __init__(self, engine_path):
    threading.Thread.__init__(self)
    self.engine_path = engine_path
    self.engine = self.open_engine(engine_path)

  def run(self):
    cuda.init()
    #self.dev = cuda.Device(0)
    #self.ctx = self.dev.make_context()
    self.rt_run()
    #self.ctx.pop()
    #del self.ctx
    return

  def rt_run(self):
    with self.engine.create_execution_context() as context:
      inputs, outputs, bindings, stream = self.allocate_buffers(self.engine)
      # ...  Retrieve image
      self.load_input(inputs[0].host, image)
      [output] = self.do_inference(
        context,
        bindings=bindings,
        inputs=inputs,
        outputs=outputs,
        stream=stream
      )
    return

  def load_input(self, pagelocked_buffer, image):
    # ... Image transformations ...
    # Copy to the pagelocked input buffer
    np.copyto(pagelocked_buffer, crop_img)
    return

  def allocate_buffers(self, engine):
    inputs = []
    outputs = []
    bindings = []
    stream = cuda.Stream()
    for binding in engine:
      size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size
      dtype = trt.nptype(engine.get_binding_dtype(binding))
      # Allocate host and device buffers
      host_mem = cuda.pagelocked_empty(size, dtype)
      device_mem = cuda.mem_alloc(host_mem.nbytes)
      # Append the device buffer to device bindings.
      bindings.append(int(device_mem))
      # Append to the appropriate list.
      if engine.binding_is_input(binding):
        inputs.append(HostDeviceMem(host_mem, device_mem))
      else:
        outputs.append(HostDeviceMem(host_mem, device_mem))
    return inputs, outputs, bindings, stream

  def run_inference(self, context, bindings, inputs, outputs, stream, batch_size=1):
    # Transfer input data to the GPU.
    [cuda.memcpy_htod_async(inp.device, inp.host, stream) for inp in inputs]
    # Run inference.
    context.execute_async(batch_size=batch_size, bindings=bindings, stream_handle=stream.handle)
    # Transfer predictions back from the GPU.
    [cuda.memcpy_dtoh_async(out.host, out.device, stream) for out in outputs]
    # Synchronize the stream
    stream.synchronize()
    # Return only the host outputs.
    return [out.host for out in outputs]

При выполнении кода выше я получаю ошибку: stream = cuda.Stream() pycuda._driver.LogicError: explicit_context_dependent failed: invalid device context - no currently active context? Эта функция cuda.Stream() вызывается в allocate_buffers выше .

Итак, я попробую следующее в run (обратите внимание, что это закомментированный код выше):

self.dev = cuda.Device(0)
self.ctx = self.dev.make_context()
self.rt_run()
self.ctx.pop()
del self.ctx

Это заставляет мою систему полностью зависать, когда rt_run create_execution_context называется. Я предполагаю, что есть конфликты между созданием контекста PyCuda и созданием контекста выполнения TensorRT? Я запускаю это на Jetson Nano.

Если я удаляю код create_execution_context, я могу выделить буферы, и кажется, что контекст активен и находится в рабочем потоке. Однако я не могу запустить логический вывод без контекста TensorRT execute . execute_async не является методом self.ctx выше.

Обратите внимание, что ни одна из этих проблем не возникает при запуске из основного потока. Я могу просто использовать autoinit PyCuda и создать контекст выполнения, как в приведенном выше коде.

Итак, в итоге, в рабочем потоке я не могу выделить буферы, пока не вызову self.dev.make_context, но это вызывает create_execution_context позвоните в систему sh. Если я не вызываю self.dev.make_context, я не могу выделить буферы в контексте выполнения, поскольку я получаю ошибку invalid device context при вызове cuda.Stream() в allocate buffers.

Что я выполняю:

• TensorRT 6
• PyCuda 1.2
• Jetson Nano 2019