Tensorflow 2 множественных одновременных прогноза

Question

В Tensorflow 2 после загрузки сохраненной модели с помощью tf.saved_model.load(my_model) Как запустить несколько прогнозов для одной и той же модели (не для Graph)?

Я использую класс Pool из пакета многопроцессорной обработки. Импорт тензорного потока и keras в вспомогательном методе перед загрузкой модели не помог:

import tensorflow as tf
import keras
tf.saved_model.load(my_model)

Код ошибки:

Невозможно выбрать локальный объект 'Loader._recreate_base_user_object .._ UserObject'

Answer 1

Как было предложено в stackoverflow , передача нескольких входов в массив (numpy или python не имеет значения) работает лучше, чем для l oop. Улучшение производительности составило 25%. Не забудьте установить номер потока:

tf.config.threading.set_intra_op_parallelism_threads(num_cores)
tf.config.threading.set_inter_op_parallelism_threads(num_cores)

Однако следует учитывать, что тензор потока будет использовать количество потоков, в разы больше памяти.