Я ищу способ предотвратить выделение тензорным потоком обслуживающим тензорным потокам.У меня такой тензор, который составляет пару гигабайт.Это предварительно обученный, я предотвращаю это, чтобы быть измененным во время обучения.Я могу проводить тренировки только время.Модель представляет собой пользовательский оценщик TF, экспортированный как SavedModel.
Я использую Tensorflow-Обслуживание для размещения модели.Во время выполнения, если есть слишком много одновременных запросов, это может вызвать ошибки OOM.Похоже, что он многократно выделяет тензор внедрения (в зависимости от его формы в сообщении об ошибке).Есть ли способ предотвратить создание тензорным потоком нескольких копий этого тензора во время вывода?
Коллега предположил, что тензорный поток может включать тензор как константу как часть процесса экспорта.Я нашел очень мало информации, связанной с этим онлайн.