Как обслуживать пользовательские метаданные для (тензорного потока) модели?

Question

При обслуживании моделей TensorFlow с помощью TensorFlow-Serving мне необходимо предоставить клиентам собственные метаданные (например, требования к входным данным модели, информацию об обучении ...).

Я попытался добавить информацию через tf.add_to_collection( <my_custom_key>, <value> ) перед сохранением модели, и, конечно же, информация появилась в файле .pb (txt), используемом сервером.

Однако в настоящее время выглядит так, как будто ответ на запрос метаданных (например, через GET http://localhost:8501/v1/models/<my_model>/metadata) возвращает только содержимое раздела signature_def (который также не может быть расширен, валидатор предотвращает это), и я знаю, что нет способ запроса содержимого других разделов.

Есть ли способ обслуживания / запроса пользовательских метаданных для обслуживания TF?

Answer 1

К сожалению, добавления логики, позволяющей обслуживать метаданные, отличные от signaturedefs, сейчас нет в планах, и я не уверен, что у нас есть хорошее понимание общего варианта использования, для которого поддержка имеет смысл.

Относительно того, как обслуживать метаданные, сохраненные в сохраненной модели, предположительно, вы добавили бы к вашему графику константу, содержащую интересующее тензорное значение (форму ввода / вывода), создали новую подпись, используя ссылку ниже, и сделали вывод с этой подписью - я никогда не видел, чтобы это было сделано, но я не представляю, почему это не сработает.

https://www.tensorflow.org/guide/saved_model#manually_build_a_savedmodel