Включите XNNPack в TFLite v2.3 для ARM64 - PullRequest
Новая
       54

Включите XNNPack в TFLite v2.3 для ARM64

0 голосов
/ 02 августа 2020

Команда TFLite недавно объявила о поддержке XNNPack в TF v2.3 (https://blog.tensorflow.org/2020/07/accelerating-tensorflow-lite-xnnpack-integration.html). Это должно обеспечить впечатляющее ускорение операций с плавающей запятой на ядрах ARM v8.

Кто-нибудь знает, как включить XNNPack для сборок TFLite на ARM64? В частности, приложение для тестирования будет хорошим местом для тестирования этой новой функциональности на целевом оборудовании. Поддержка iOS и Android включается путем передачи флага Bazel при компиляции. К сожалению, никаких инструкций по сборке для плат ARM64 не дается. Инструкции по сборке (см. Ниже) не содержат обновленных указаний, а проверка download_dependencies.sh не показывает, что XNNPack загружается откуда-либо.

https://www.tensorflow.org/lite/guide/build_arm64

1 Ответ

1 голос
/ 11 августа 2020

XNNPACK пока не поддерживается сборками на основе Makefile. Недавно мы добавили экспериментальную поддержку кросс-компиляции в ARM64 (через --config=elinux_aarch64 в команде bazel build), что должно разрешить включение XNNPACK во время сборки, также добавив --define tflite_with_xnnpack=true в вашу команду сборки. Ожидайте некоторых улучшений в документации для кросс-компиляции в ARM64 в следующем выпуске TF 2.4, где мы также рассмотрим возможность включения XNNPACK по умолчанию для максимально возможного количества платформ.

...