Как представить коэффициенты многослойного восприятия нейронной сети?

Question

В учебных целях я пытаюсь с нуля закодировать простую многослойную нейронную сеть персептрона (MLP) с:

• 2500 входных данных на входном слое,
• 100 нейронов в скрытом слое № 1 и № 2,
• и 10 выходов в выходном слое

и обратном распространении, без использования тензорного потока или таких готовых к использованию инструментов.

Каждый нейрон в скрытом слое № 1 должен быть подключен к 2500 входам и должен хранить 2500 коэффициентов.То же самое относится ко всем нейронам всех слоев.

Вопрос: какая структура данных обычно используется для хранения всех коэффициентов от нейронов слоя n-1 до конкретных нейронов слоя n?

Существует ли уникальная структура данных (например, в Numpy), которая может хранить все эти коэффициенты для всего MLP?

Обязателен ли тензор (n dim массив) для таких вещей?

Answer 1

Нейронные сети - это в основном просто серии умножений матриц и нелинейных преобразований.Следовательно, n-мерные массивы являются естественным методом хранения.В зависимости от приложения вы можете использовать разреженную матрицу, в которой хранятся коэффициенты и индексы этих коэффициентов.Но в целом хранилище - это просто матрицы.

Хороший пик под капотом библиотек, таких как тензорный поток, - это посмотреть / внедрить нейронную сеть в numpy .