Как рассчитать вычислительную сложность автоматического дифференцирования?

Question

Я использую автосетка, реализованную в Pytorch, для обучения нейронной сети, и мне нужно вычислить вычислительную сложность всего алгоритма. Где я могу найти полный расчет вычислительной сложности автограда? Я искал в документации Pytorch, но я не нашел ответа. Спасибо

Answer 1

Это зависит от того, как вы рассчитываете сложность в этом случае. Каждая операция forward связана с соответствующей ей операцией backward (возвращая производную по последнему узлу сети, обычно функцию стоимости).

Если вы рассматриваете каждую операцию как одну единицу, то вперед и назад будет две единицы, по сути, ничего не меняя сложность, в противном случае это зависит от типа нейронной сети и операций внутри нее.