Обслуживание модели Tensorflow 2 Keras с функциональными столбцами и предварительной обработкой (переход с оценок tf 1.x) - PullRequest
Новая
       42

Обслуживание модели Tensorflow 2 Keras с функциональными столбцами и предварительной обработкой (переход с оценок tf 1.x)

0 голосов
/ 08 ноября 2019

Я перевожу текущую модель Tensorflow 1.x, построенную с оценщиками, в Tensorflow 2.0 Keras. Миграция была относительно плавной, пока не пришло время сериализации модели для обслуживания.

Модель указана следующим образом 

model = tf.keras.Sequential()
model.add(tf.keras.layers.DenseFeatures(feature_columns))
for units in hidden_layers:
    model.add(tf.keras.layers.Dense(units, activation='relu'))
model.add(tf.keras.layers.Dense(2, activation=None))

Я использую api столбцов объектов Tensorflow, который ожидает в качестве входных данных словарь столбцов объектов, и применяю преобразование к этим объектам до того, как они пройдутв модель.

Например, при обучении 

def dataset_transformation_function(feature_dict: Dict[str, tf.Tensor]):
    output_dict = feature_dict.copy()
    output_dict['logx1'] = tf.math.log(feature_dict['x1'])
    return output_dict

train_dataset = (
    tf.data.Dataset.from_tensor_slices(
        (train_feature_dict, train_label_vector)
    )
    .shuffle(n_train)
    .batch(batch_size)
    .map(dataset_transformation_function)
    .repeat()
    .prefetch(tf.data.experimental.AUTOTUNE)
)

Похоже, что для выполнения того же преобразования во время подачи мне требуется: 

input_tensors = [tf.Tensorspec(name=...), ...]
@tf.function(input_signature=input_tensors)
def dataset_transformation_function(args) -> Dict[str, tf.Tensor]:
    ...

И 

tf.saved_model.save(
    model,
    MODEL_DIR,
    signatures=feature_transform,
)

Однако я не могу определить правильную сигнатуру для входного тензора или функции.

Метод, с которого я выполняю миграцию: 

def serving_input_fn():

    receiver_tensors = {
        'x1': tf.placeholder(dtype=tf.float32, shape=[None, ], name='x1')
        'x2': tf.placeholder(dtype=tf.string, shape=[None, ], name='x2')
    }
    features = dataset_transformation_function(
        receiver_tensors
    )

    return tf.estimator.export.ServingInputReceiver(features, receiver_tensors)

estimator.export_savedmodel(
    MODEL_DIR,
    serving_input_fn,
    as_text=False,
    checkpoint_path=estimator.best_checkpoint,
)

1 Ответ

0 голосов
/ 12 ноября 2019

Чтобы ответить на мой собственный вопрос, кажется, что решение состоит в том, чтобы предоставить функцию, которая при вызове выполняет как предварительную обработку, так и вызывает модель. Пример здесь: 

# tensorflow 2.0.0
import tensorflow as tf
import numpy as np

hidden_layers = [4,4]
feature_columns = [fc.numeric_column(name) for name in ['x1', 'x2', 'logx1']]

# construct a simple sequential model
model = tf.keras.Sequential()
model.add(tf.keras.layers.DenseFeatures(feature_columns))
for units in hidden_layers:
    model.add(tf.keras.layers.Dense(units, activation='relu'))
model.add(tf.keras.layers.Dense(2, activation=None))

model.compile(
    optimizer=tf.keras.optimizers.Adam(1e-3),
    loss='mae',
    metrics=['mae']
)

x_train = {'x1': np.arange(10), 'x2': np.arange(10), 'logx1': np.log1p(np.arange(10))}
x_predict = {'x1': np.arange(10), 'x2': np.arange(10)}
y = np.random.random(size=10)

model.fit(x=x_train, y=y)

trained_model_predictions = model.predict(x_train)

# preprocessing function for serving
@tf.function()
def serve_predict(x1, x2):
    preprocessed_feature = tf.math.log1p(x1)
    output = {
        'x1': x1,
        'x2': x2,
        'logx1': preprocessed_feature
    }
    prediction = model(output)
    return prediction

serve_predict = serve_predict.get_concrete_function(x1=tf.TensorSpec([None,]), x2=tf.TensorSpec([None,]))

tf.saved_model.save(
    model,
    '/tmp/tf',
    signatures=serve_predict
)
# check the models give the same output
loaded = tf.saved_model.load('/tmp/tf')
loaded_model_predictions = loaded.serve_predict(x1=tf.range(10, dtype=tf.float32), x2=tf.range(10, dtype=tf.float32))
np.testing.assert_allclose(trained_model_predictions, loaded_model_predictions, atol=1e-6)
...