Как отлаживать модели, работающие в Tensorflow Serving?

Question

Я хотел попробовать мою модель seq2seq в Tensorflow Serving для развертывания. Итак, я реализовал Custom operation для замены py_func для успешного экспорта кода на основе Python.

Я протестировал эту пользовательскую операцию C ++ двумя способами.

1. Использование load_op_library
2. Встроенный Tensorflow, обслуживающий источник

Оба пути работают успешно. Но производительность и точность отличаются при работе секунда способ.

Я также использовал некоторые printf() внутри пользовательской реализации для отладки входных и выходных значений.

С load_op_library, он печатает в стандартный вывод.

С TF Serving не удалось увидеть print s в stdout.

1. Почему выполнение одного и того же кода в TF Serving не дает точных результатов?

2. Как можно отладить значения, когда модель работает в режиме TF Serving ( не может видеть результаты printf )?

3. Есть ли способ проверить значения в SavedModel variables файлах?