Почему мой TensorFlow Serving с использованием bazel build copt avx2 не помогает ускорить вывод?

Question

Я создаю свой сервис tf-Обслуживание с tenorflow-v1.12.0. Я испробовал все виды коптов, доступных для моего процессора. Но результат не оправдал моих ожиданий. На рисунке ниже показаны исполнения для каждого копта в моем проекте.

Мне было интересно, почему копт не имеет положительного значения. ссылка: Ваш процессор поддерживает инструкции, которые этот двоичный файл TensorFlow не был скомпилирован для использования: AVX AVX2

Answer 1

Наконец-то выясни это сам. Это потому, что я не включил MKL в компиляции. Правильный способ компилировать ваш TF с оптимизацией набора команд ЦП - это добавить "--config = mkl -c opt --copt = mavx2"

Это уменьшит примерно 20% прогнозируемой стоимости времени в моем проекте.