NNAPI - это единственное аппаратное ускорение, доступное на данный момент Tensorflow-Lite. При этом инфраструктура Tensorflow-Lite разработана так, чтобы ее можно было легко расширять за счет пользовательских операций, использующих аппаратное ускорение. Кроме того, встроенные операции tenorflow lite уже используют специальные инструкции процессора (ARM NEON, Intel SSE) для ускорения вывода.
Есть ли конкретная встроенная система linux, на которую вы ориентируетесь?