Нейронная сеть без скрытых слоев и линейной функции активации должна приближаться к линейной регрессии?

Question

Насколько я понимаю, нейронная сеть создаст ту же форму уравнения, что и линейная регрессия, при условии, что вы не используете скрытые слои и функцию линейной активации. т.е. y = SUM (w_i * x_i + b_i), где i равно 0 для количества имеющихся у вас функций.

Я пытался доказать это сам себе, используя веса и смещения линейной регрессии, вводя это в нейронную сеть и посмотреть, если результаты одинаковы. Они не.

Я задаюсь вопросом, неверно ли мое понимание или мой код является или может быть и тем и другим.

---

from sklearn.linear_model import LinearRegression
import tensorflow as tf
from tensorflow import keras
import numpy as np

linearModel = LinearRegression()
linearModel.fit(np.array(normTrainFeaturesDf), np.array(trainLabelsDf))

# Gets the weights of the linear model and the intercept in a form that can be passed into the neural network
linearWeights = np.array(linearModel.coef_)
intercept = np.array([linearModel.intercept_])

trialWeights = np.reshape(linearWeights, (len(linearWeights), 1))
trialWeights = trialWeights.astype('float32')
intercept = intercept.astype('float32')
newTrialWeights = [trialWeights, intercept]

# Create a neural network and set the weights of the model to the linear model
nnModel = keras.Sequential([keras.layers.Dense(1, activation='linear', input_shape=[len(normTrainFeaturesDf.keys())]),])
nnModel.set_weights(newTrialWeights)

# Print predictions of both models (the results are vastly different)
print(linearModel.predict(np.array(normTestFeaturesDf))
print(nnModel.predict(normTestFeaturesDf).flatten())

---

Answer 1

Да, нейронная сеть с одним слоем и без функции активации эквивалентна линейной регрессии.

Определение некоторых переменных, которые вы не включили:

normTrainFeaturesDf = np.random.rand(100, 10)
normTestFeaturesDf = np.random.rand(10, 10)
trainLabelsDf = np.random.rand(100)

Тогда результат будет ожидается:

>>> linear_model_preds = linearModel.predict(np.array(normTestFeaturesDf))
>>> nn_model_preds = nnModel.predict(normTestFeaturesDf).flatten()

>>> print(linear_model_preds)
>>> print(nn_model_preds)
[0.46030349 0.69676376 0.43064266 0.4583325  0.50750268 0.51753189
 0.47254946 0.50654825 0.52998559 0.35908762]
[0.46030346 0.69676375 0.43064266 0.45833248 0.5075026  0.5175319
 0.47254944 0.50654817 0.52998555 0.3590876 ]

Числа идентичны, за исключением небольших отклонений из-за точности с плавающей точкой.

>>> np.allclose(linear_model_preds, nn_model_preds)
True