Я использую Python для обнаружения объектов в видеопотоке. У меня есть модель TensorFlow Lite, оценка которой занимает относительно много времени. При использовании interpreter.invoke() на оценку требуется около 500 мс. Я хотел бы использовать параллелизм для получения большего количества оценок в секунду.
Я вижу, что могу вызвать конфигурацию TensorFlow tf.config.experimental.set_synchronous_execution. Я надеялся, что установка этого параметра волшебным образом заставит интерпретатор работать в нескольких процессах.
Однако при запуске help(tf.lite.Interpreter) говорится, что:
invoke(self)
Invoke the interpreter.
Be sure to set the input sizes, allocate tensors and fill values before
calling this. Also, note that this function releases the GIL so heavy
computation can be done in the background while the Python interpreter
continues. <b>No other function on this object should be called while the
invoke() call has not finished.</b>
Нужно ли мне писать собственный многопроцессорный код? , аналогично выводу ускорения TFLite в python с многопроцессорным пулом ?