Правильно ли сформирован этот вектор смещения Tensorflow?

Question

В тексте я прочитал следующее:

Я запутался в размерах вектора смещения.Как мы можем добавить вектор (m,1) к вектору (1, p)?w0 имеет правильную форму?Или w1 должен иметь форму (n, P) для учета P классов, и мы передаем w0?

Примечание.ряд ненормализованных логитов для каждого предсказания класса для каждого наблюдения.Тогда имеет ли смысл добавлять предвзятость для каждого класса и транслировать ее на количество выборок в наших данных?

Я чувствую себя глупо даже из-за того, что спрашиваю, но, прогуливаясь по примеру, я не смог примириться ...

Answer 1

Технически, добавление тензора (m, 1) к тензору (1, P) дает тензор (m, P), передавая дважды (учитывая, что Y_hat для индексов (i, j) равно tf.matmul (X, w1) по индексу i плюс w0 по индексу j).Однако это не то, что должно происходить в сети прямой связи.

w1 действительно должен иметь форму (n, P), а затем смещение формируется правильно.tf.matmul (X, w1) имеет форму (m, P), а Y_hat имеет форму (m, P), используя ожидаемое вещание (поскольку он должен иметь ту же форму, что и Y).