Как рассчитать FLOPs модели с разделением веса? - PullRequest
0 голосов
/ 05 марта 2020

Я пытаюсь подсчитать FLOP в модели ALBERT_base, которая делит веса на все 12 слоев. Число FLOP, подсчитываемых tf.profile, составляет 879b, что довольно мало. Мне интересно, есть ли лучший способ подсчитать FLOP в модели распределения веса?

...