Оптимизация нейронной сети для работы во встроенной системе

Question

Я выполняю некоторый код во встроенной системе с чрезвычайно ограниченной памятью и еще более ограниченной вычислительной мощностью.

Я использую TensorFlow для этой реализации.

Раньше мне никогда не приходилось работать в такой среде.

Какие шаги я могу предпринять для обеспечения максимальной эффективности моих реализаций / оптимизации?

Некоторые идеи -
- Код обрезки - https://jacobgil.github.io/deeplearning/pruning-deep-learning - Убедитесь, что петли минимально возможны (в большом смысле O) - ...

Большое спасибо.

Answer 1

Я предлагаю использовать TensorFlow Lite.

Это позволит вам сжать и квантовать вашу модель, чтобы сделать ее меньше и быстрее работать.

Он также поддерживает использование графического процессора и / или аппаратного ускорителя, если вам доступно что-либо из этого.

https://www.tensorflow.org/lite

Answer 2

Если вы работаете с TensorFlow 1.13 (последней стабильной версией до прототипа 2.0), имеется функция отсечения из подмодуля tf.contrib. Он содержит параметр sparcity, который можно настроить для определения размера сети.

Я предлагаю вам взглянуть на все подмодули tf.contrib.model_pruning здесь . Это множество функций, которые могут вам понадобиться для вашей конкретной задачи.