Как установить форму ввода для оптимизатора модели в OpenVINO для модели Tacotron? - PullRequest
Новая
       38

Как установить форму ввода для оптимизатора модели в OpenVINO для модели Tacotron?

3 голосов
/ 10 апреля 2019

Я пытаюсь заставить модель KeithIto Tacotron работать на Intel OpenVINO с NCS.Оптимизатору модели не удается преобразовать замороженную модель в формат IR.

После того, как я спросил об этом на форуме Intel, мне сказали, что в выпуске R8 2018 года отсутствует поддержка GRU, и я изменил его на ячейки LSTM.Но модель все еще хорошо работает в тензорном потоке после тренировки.Также я обновил свой OpenVINO до выпуска R9 2019 года.Но оптимизатор все равно скинул ошибки.Модель имеет в основном два входных узла: input [N, T_in] и input_lengths [N];где N - размер пакета, T_in - количество шагов во входном временном ряду, а значения - это идентификаторы символов с фигурами по умолчанию, такими как [1 ,?] и [1].Проблема в [1 ,?], так как оптимизатор модели не учитывает динамические формы.Я пробовал разные значения, и это всегда выдает некоторые ошибки.

Я пробовал замороженные графики с выходным узлом «model / griffinlim / Squeeze», который является конечным выходом декодера, а также с «model / inference / density / BiasAdd», как указано в (https://github.com/keithito/tacotron/issues/95#issuecomment-362854371), который являетсявход для вокодера Griffin-lim, чтобы я мог выполнять часть Spectrogram2Wav вне модели и уменьшать ее сложность. 

C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer>python mo_tf.py --input_model "D:\Programming\LSTM\logs-tacotron\freezeinf.pb" --freeze_placeholder_with_value "input_lengths->[1]" --input inputs --input_shape [1,128] --output model/inference/dense/BiasAdd
Model Optimizer arguments:
Common parameters:
        - Path to the Input Model:      D:\Programming\Thesis\LSTM\logs-tacotron\freezeinf.pb
        - Path for generated IR:        C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\.
        - IR output name:       freezeinf
        - Log level:    ERROR
        - Batch:        Not specified, inherited from the model
        - Input layers:         inputs
        - Output layers:        model/inference/dense/BiasAdd
        - Input shapes:         [1,128]
        - Mean values:  Not specified
        - Scale values:         Not specified
        - Scale factor:         Not specified
        - Precision of IR:      FP32
        - Enable fusing:        True
        - Enable grouped convolutions fusing:   True
        - Move mean values to preprocess section:       False
        - Reverse input channels:       False
TensorFlow specific parameters:
        - Input model in text protobuf format:  False
        - Path to model dump for TensorBoard:   None
        - List of shared libraries with TensorFlow custom layers implementation:        None
        - Update the configuration file with input/output node names:   None
        - Use configuration file used to generate the model with Object Detection API:  None
        - Operations to offload:        None
        - Patterns to offload:  None
        - Use the config file:  None
Model Optimizer version:        2019.1.0-341-gc9b66a2
[ ERROR ]  Shape [  1  -1 128] is not fully defined for output 0 of "model/inference/post_cbhg/conv_bank/conv1d_8/batch_normalization/batchnorm/mul_1". Use --input_shape with positive integers to override model input shapes.
[ ERROR ]  Cannot infer shapes or values for node "model/inference/post_cbhg/conv_bank/conv1d_8/batch_normalization/batchnorm/mul_1".
[ ERROR ]  Not all output shapes were inferred or fully defined for node "model/inference/post_cbhg/conv_bank/conv1d_8/batch_normalization/batchnorm/mul_1".
 For more information please refer to Model Optimizer FAQ (<INSTALL_DIR>/deployment_tools/documentation/docs/MO_FAQ.html), question #40.
[ ERROR ]
[ ERROR ]  It can happen due to bug in custom shape infer function <function tf_eltwise_ext.<locals>.<lambda> at 0x000001F00598FE18>.
[ ERROR ]  Or because the node inputs have incorrect values/shapes.
[ ERROR ]  Or because input shapes are incorrect (embedded to the model or passed via --input_shape).
[ ERROR ]  Run Model Optimizer with --log_level=DEBUG for more information.
[ ERROR ]  Exception occurred during running replacer "REPLACEMENT_ID" (<class 'extensions.middle.PartialInfer.PartialInfer'>): Stopped shape/value propagation at "model/inference/post_cbhg/conv_bank/conv1d_8/batch_normalization/batchnorm/mul_1" node.
 For more information please refer to Model Optimizer FAQ (<INSTALL_DIR>/deployment_tools/documentation/docs/MO_FAQ.html), question #38.

Я также пробовал разные методы для замораживания графика.

МЕТОДЫ 1: Использование freeze_graph.py, предоставленного в Tensorflow после демпинга графа с: 

tf.train.write_graph(self.session.graph.as_graph_def(), "models/", "graph.pb", as_text=True)

, за которым следует: 

python freeze_graph.py --input_graph .\models\graph.pb  --output_node_names "model/griffinlim/Squeeze" --output_graph .\logs-tacotron\freezeinf.pb --input_checkpoint .\logs-tacotron\model.ckpt-33000 --input_binary=true

МЕТОДЫ 2: Используя следующий код после загрузки модели: 

frozen = tf.graph_util.convert_variables_to_constants(self.session,self.session.graph_def, ["model/inference/dense/BiasAdd"]) #model/griffinlim/Squeeze
graph_io.write_graph(frozen, "models/", "freezeinf.pb", as_text=False)

Я ожидал, что слои BatchNormalization и Dropout будут удалены после замораживания, но, глядя на ошибки, кажется, что он все еще существует.

Среда

ОС: Windows 10 Pro

Python 3.6.5

Tensorflow 1.12.0

OpenVINO 2019 R1 release

Может кто-нибудь помочь с вышеуказанной проблемоймс с оптимизатором?

1 Ответ

0 голосов
/ 18 апреля 2019

OpenVINO пока не поддерживает эту модель.Мы будем держать вас в курсе, когда это будет.

...