Обслуживание TFRecords / TensorFlow: преобразование запросов TFRecords в (GRPC или RESTFul) TensorFlow Serving?

Question

У меня есть куча TFRecords, которые я использовал для обучения модели.Я бы хотел использовать их и с TensorFlow Serving.До сих пор я только что использовал конечную точку обслуживания RESTful TensorFlow и превращал TFRecords в тела запросов JSON.

Есть ли какой-то особый способ, которым я могу сделать вывод непосредственно в TFRecords, не переключая отдельные TFRecords вручную в обслуживание TFзапросы?

Answer 1

TFRecords - это двоичный формат, который будет трудно напрямую передать через RESTFul API.Альтернативой является использование конечной точки GRPC порции tf.Но это может не сильно вас спасти.

Для запроса GRPC в качестве входных данных требуется тензор_прото, см. Пример вызова в Python.В этом случае ваш тензорный прото может быть одномерными данными, содержащими сериализованный объект tf.Example, полученный из TFRecord.Когда вы сохраняете свою модель на этапе обучения, вы можете определить пользовательскую функцию обработки входных данных для обслуживания, которая может принимать сериализованные данные tf.Example в качестве входных данных для обслуживания.Обратитесь к tf.estimator.Estimator.export_saved_model , чтобы узнать, как определить вашу пользовательскую функцию serving_input_receiver_fn для обработки входных данных во время обслуживания.