Как передать файл инициализации для словарной таблицы в обслуживание Tensorflow - PullRequest
0 голосов
/ 08 июля 2019

Я создал модель глубокого обучения, которая использует текстовый файл для инициализации словарной таблицы в Tensorflow, как показано ниже -

class MyModel(object):

def __init__(self):
    table_init = tf.lookup.TextFileInitializer('/home/abhilash/resmap.txt', tf.int64, 0, tf.int64, 1, delimiter=" ")
    table = tf.lookup.StaticVocabularyTable(table_init, num_oov_buckets)
В файле

resmap.txt есть записи вроде этого -

2345 1
3456 2
1234 3

Я конвертирую эту модель TF в сервировку Tensorflow, используя следующий код -

from model import MyModel

with tf.Session() as sess:

    tf.app.flags.DEFINE_string('f', '', 'kernel')
    tf.app.flags.DEFINE_integer('model_version', 1, 'version number of the model.')
    tf.app.flags.DEFINE_string('save_dir', '/home/abhilash', 'Saving directory.')
    FLAGS = tf.app.flags.FLAGS

    export_path = os.path.join(tf.compat.as_bytes(FLAGS.save_dir), tf.compat.as_bytes(str(FLAGS.model_version)))
    print('Exporting trained model to', export_path)

    # Creating Model object and initializing all the global variables in TF Graph.
    model = MyModel()
    sess.run(tf.global_variables_initializer())
    sess.run(tf.local_variables_initializer())
    sess.run(tf.tables_initializer())

    tf.train.Saver().restore(sess, os.path.join('/home/abhilash', 'model1'))
    print("Model restored.")

    # SavedModel Builder Object
    builder = tf.saved_model.builder.SavedModelBuilder(export_path)

    # Converting Tensor to TensorInfo Objects so that they can be used in SignatureDefs
    tensor_info_input1 = tf.saved_model.utils.build_tensor_info(model.input1)
    tensor_info_input2 = tf.saved_model.utils.build_tensor_info(model.input2)
    tensor_info_prob = tf.saved_model.utils.build_tensor_info(model.logits_all)

    # SignatureDef
    prediction_signature = (
          tf.saved_model.signature_def_utils.build_signature_def(
              inputs={'input1':tensor_info_input1,
                      'input2':tensor_info_input2},
              outputs={'probs': tensor_info_prob},
              method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME))

    builder.add_meta_graph_and_variables(
                sess=sess,
                tags=[tf.saved_model.tag_constants.SERVING],
                signature_def_map={'predict_prob': prediction_signature},
                main_op=tf.tables_initializer(), 
                strip_default_attrs=False,
                )

    # Export the model
    builder.save()
    print('Done exporting TF Model to SavedModel format!')

model = MyModel() создает структуру графа TF.
При использовании приведенного выше кода модель успешно конвертируется в формат SavedModel. И после подачи дает правильные результаты.

Но когда я обслуживаю этот обслуживаемый объект на другой машине, это выдает мне такую ​​ошибку -

Traceback (most recent call last):
  File "/home/abhilashawasthi/anaconda3/envs/mlflow-95a14f155def99fdbaccbe70ebfbcf3065700c56/lib/python3.7/site-packages/tensorflow/python/client/session.py", line 1356, in _do_call
    return fn(*args)
  File "/home/abhilashawasthi/anaconda3/envs/mlflow-95a14f155def99fdbaccbe70ebfbcf3065700c56/lib/python3.7/site-packages/tensorflow/python/client/session.py", line 1341, in _run_fn
    options, feed_dict, fetch_list, target_list, run_metadata)
  File "/home/abhilashawasthi/anaconda3/envs/mlflow-95a14f155def99fdbaccbe70ebfbcf3065700c56/lib/python3.7/site-packages/tensorflow/python/client/session.py", line 1429, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.NotFoundError: /home/abhilash/resmap.txt; No such file or directory
     [[{{node text_file_init/InitializeTableFromTextFileV2}}]]

То есть он пытается найти этот текстовый файл в том же месте.
Так как я могу передать этот текстовый файл, чтобы он был связан с SavedModel?

Я видел в документации по TF Serving, что мы можем передавать активы на обслуживание. Но не как это сделать. Нет доступных примеров.
Может кто-нибудь дать мне знать, как пройти это?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...