В чем разница между Tensorflow XLA и Tensorflow Lite / Android NNAPI?

Question

Tensorflow вышел с компилятором XLA, который компилирует внутренний тензор потока C ++ для LLVM.Насколько я понимаю, XLA заключался в том, что это был шаг к поддержке общих ускоренных устройств, при условии, что была LLVM -> Поддержка устройств.

Недавно был выпущен Tensorflow lite, заменив Tensorflow Mobile, и, похоже, именно тамРабота направлена ​​на нацеливание на встраиваемые и мобильные устройства с очевидным акцентом на встроенные DSP и графические процессоры в качестве дополнительных процессоров, распространенных в этих средах.Tensorflow lite, по-видимому, передает операции Android NNAPI (API нейронной сети) и поддерживает подмножество OP-функций tenorflow.

Таким образом, возникает вопрос : в каком направлении Google собирается поддерживать устройства, не основанные на CUDA?И есть ли варианты использования для XLA помимо того, что я описал?

Answer 1

Я работаю на XLA.Компилятор XLA имеет три бэкэнда: для CPU, GPU и TPU.Процессоры и графические процессоры основаны на LLVM и являются открытым исходным кодом, а TPU - закрытым.

Я не знаю, какие планы на XLA для мобильных устройств, поэтому я не могу комментироватьэто.

Преимущество, которое вы получаете, используя XLA с вашей моделью TF вместо непосредственного выполнения модели, состоит в том, что XLA объединяет множество операций для вас.См. этот пост , например.