Как заставить смещение к нулю в тензорном потоке LinearRegressor? - PullRequest
Новая
       13

Как заставить смещение к нулю в тензорном потоке LinearRegressor?

0 голосов
/ 25 апреля 2019

Я использую API-интерфейс Tenarflow *1002* для задачи регрессии (https://www.tensorflow.org/api_docs/python/tf/estimator/LinearRegressor). Я знаю, что смещение в моей модели равно 0.

Как я могу заставить LinearRegressor учиться смещению 0?

Вот минимальный пример: 

import tensorflow as tf
import numpy as np
from sklearn.linear_model import SGDRegressor

Имитация некоторых данных с 2 функциями (+ смещение 0) у = 0 + 2 * х1 + 3 * х2 + шум 

np.random.seed(5332)
n = 1000
weights = np.array([
    [2],
    [3],
])

bias = 0

x = np.random.randn(n, np.shape(weights)[0])
y = (bias + np.matmul(x, weights) + np.random.randn(n, 1)).ravel()

В sklearn я бы использовал fit_intercept = False, чтобы принудительно сместить 0: 

ols = SGDRegressor(tol=0.000001, fit_intercept=False)
ols.fit(x, y)

print("True weights: {}".format(weights.ravel()))
print("Learned weights: {}".format(np.round(ols.coef_), 3))
print("True bias: {}".format([bias]))
print("Learned bias: {}".format(np.round(ols.intercept_), 3))

Выход: 

True weights: [2 3]
Learned weights: [2. 3.]
True bias: [0]
Learned bias: [0.]

В тензорном потоке я сделал следующее: 

column =  tf.feature_column.numeric_column('x', shape=np.shape(x)[1])
ols = tf.estimator.LinearRegressor(
    feature_columns=[column],
    optimizer=tf.train.GradientDescentOptimizer(0.0001)
)


train_input = tf.estimator.inputs.numpy_input_fn(
    x={"x": x},
    y=y,
    shuffle=False,
    num_epochs=100,
    batch_size=int(len(y) / 20)
)

ols.train(train_input)

print("True weights: {}".format(weights.ravel()))
print("Learned weights: {}".format(np.round(ols.get_variable_value('linear/linear_model/x/weights').flatten(), 3)))
print("True bias: {}".format([bias]))
print("Learned bias: {}".format(np.round(ols.get_variable_value('linear/linear_model/bias_weights').flatten(), 3)))

Выход: 

True weights: [2 3]
Learned weights: [1.993 2.998]
True bias: [0]
Learned bias: [-0.067]

Но усвоенный уклон должен быть: [0], как я могу применить это?

...