Какова связь между графиком потока данных Tensorflow и DNN?

Question

Как мы знаем, DNN состоит из множества слоев, которые состоят из множества нейронов, применяющих одну и ту же функцию к различным частям входа. Между тем, если мы будем использовать Tensorflow для выполнения задачи DNN, мы получим график потока данных, сгенерированный Tensorflow автоматически, и мы можем использовать Tensorboard для визуализации графика потока данных как удар. Но в слое нет нейрона. Поэтому мне интересно, какова связь между графиком потока данных Tensorflow и DNN? Когда нейрон слоя DNN отображается в граф потока данных, как он представляется? Каковы отношения нейрона в DNN и узла в тензорном потоке (представляющего операцию)? Я только начал изучать DNN и Tensorflow, пожалуйста, помогите мне привести мысли в порядок. Спасибо :) введите описание изображения здесь

Answer 1

Вы должны различать метафорическое представление DNN и его математическое описание. Математика за классическим нейроном - это сумма взвешенных входов + смещение (обычно вызывая функцию активации для этого результата) Таким образом, в этом случае у вас есть входной вектор, умноженный на весовой вектор (содержащий обучаемые переменные), а затем суммированный с помощью скаляра смещения (также обучаемого)

Если вы теперь рассмотрите слой нейронов вместо одного, веса станут матрицей, а смещение - вектором. Таким образом, вычисление слоя прямой связи является не чем иным, как умножением матрицы, за которым следует сумма векторов.

Это операция, которую вы можете увидеть на графике тензорного потока. Вы действительно можете построить свою нейронную сеть таким образом, не используя так называемый API высокого уровня, который использует абстракцию уровня. (Многие делали это в первые дни тензорного потока)

Фактическая «магия», которую тензорный поток делает для вас, вычисляет и выполняет производные от этого предисловия, чтобы вычислить обновления для весов.