Почему библиотеки глубокого обучения такие огромные?

Question

Я недавно загрузил все пакеты из PyPI. Одним интересным наблюдением было то, что из Топ-15 самых больших пакетов все, кроме одного, являются пакетами глубокого обучения:

• m xnet: m xnet -cu90 ( 600 МБ), м xnet -cu92 , м xnet -cu101мкл , м xnet -cu101 (и еще 6 м xnet версии)
• cntk: cntk-gpu (493 МБ)
• H2O4GPU (366 МБ)
• тензор потока: тенор потока -gpu (357 МБ), тензор потока

Я смотрел на m xnet -cu90. В нем ровно один огромный файл: libmxnet.so (936,7 МБ). Что содержит этот файл? Есть ли способ сделать его меньше?

Я особенно удивлен тем, что эти библиотеки настолько огромны, учитывая, что обычно их используют поверх CUDA + cuDNN, что, как я думал, будет тяжелым занятием.

Для сравнения я рассмотрел связанные библиотеки, с помощью которых вы также можете создавать библиотеки глубокого обучения:

• numpy: 6 МБ
• sympy: 6 МБ
• pycuda: 3,6 МБ
• тензор потока-процессора: 116 МБ (поэтому для версии с графическим процессором требуется 241 МБ больше или примерно в 3 раза больше!)

Answer 1

Платформы глубокого обучения большие, потому что они упаковывают CuDNN от NVIDIA в свои колеса. Это сделано для удобства последующих пользователей.

CuDNN - это примитивы, которые фреймворки вызывают для выполнения высокооптимизированных операций нейронной сети (например, LSTM)

Разархивированная версия CuDNN для windows 10 составляет 435 МБ.