Как я могу ускорить скорость вывода в TensorFlow, когда я получил разреженную матрицу от обрезки?

Question

Я получил матрицу разреженных весов от Обрезка тензорного потока для уменьшения SqueezeNet.После strip_pruning_vars я проверил большинство элементов в матрице весов, успешно обрезанных до 0.Тем не менее, производительность модели не увеличилась на то, что я ожидал.Кажется, что требуется дополнительная библиотека программного обеспечения или аппаратное обеспечение, поддерживающее разреженные матричные операции.Кто-то сказал мне, что использование библиотеки Intel-MKL будет полезно, но я не знаю, как интегрировать ее с Tensorflow.Теперь у меня есть .pb файлы SqueezeNet.Любая помощь будет высоко оценена.

Answer 1

Вы можете попробовать Intel® Optimization для TensorFlow * Wheel.

Рекомендуется использовать среду Intel для того же.

Пожалуйста, следуйте приведенным ниже инструкциям.

1. Создайте среду conda с помощью команды:

   conda create -n my_intel_env -c intel python=3.6

2. Активировать среду.

   source activate my_intel_env

3. Установить колесо

   pip install https://storage.googleapis.com/intel-optimized-tensorflow/tensorflow-1.11.0-cp36-cp36m-linux_x86_64.whl

Для более подробной информации, вы можете обратиться https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide

После установки вы можете проверить, включен ли mkl, следуя приведенным ниже командам из приглашения python.

from tensorflow.python.framework import test_util
test_util.IsMklEnabled()

Это должно вернуть 'True', если mkl включен.

Надеюсь, это поможет.