Разреженные тензоры для уменьшения времени тренировки

Question

Я узнал о разреженных тензорах PyTorch: https://pytorch.org/docs/stable/sparse.html

Из документов (https://pytorch.org/docs/stable/sparse.html): «Torch поддерживает разреженные тензоры в формате COO (rdinate), который может эффективно хранить и обрабатыватьтензоры, для которых большинство элементов являются нулями. "

Является ли одним из предполагаемых использование разреженных тензоров вместо обычных тензоров PyTorch для уменьшения времени обучения?

Answer 1

Да, но косвенно.

разреженные тензоры могут уменьшить сложность вычислений и, следовательно, время обучения / вывода.Сложность умножения матриц зависит от количества элементов в матрице, тогда как сложность умножения разреженных матриц будет зависеть от числа ненулевых элементов, которые меньше (из-за разреженности)