Обычно во время вывода нейронной сети, особенно для прямого NN, после завершения выполнения на одном уровне можно безопасно отбросить результат предыдущего уровня, поскольку он больше не будет использоваться (за исключением тех, у которых есть соединения с помощью ярлыков). .). Таким образом, память может быть сохранена во время вывода. Мой вопрос заключается в том, делает ли TFlite это в данный момент. Глядя на их C ++ код, кажется, что теперь они распределяют все тензоры перед рукой (входные, выходные и промежуточные тензоры). Но я могу ошибаться. Кто-нибудь может это подтвердить?
Спасибо!