Я реализовал простую модель линейной регрессии, используя Tensor Flow. Однако это работает только для 10-15 точек данных. Более того, функция потерь начинает резко увеличиваться до бесконечности. Данные верны, потому что я сгенерировал их синтетически. Модель линейной регрессии sklearn отлично работает для тех же данных.
size = 8
x = np.float32(np.arange(size).reshape((size,1)))
y = x*8
class Linear_Model():
def __init__(self,input_dim,lr=0.01):
self.w = tf.Variable(tf.ones(shape=(input_dim,1)))
self.b= tf.Variable(tf.zeros(shape=(input_dim)))
self.lr = lr
def predict(self,x):
return tf.matmul(x,self.w) + self.b
def compute_loss(self,label,predictions):
return tf.reduce_mean(tf.square(label-predictions))
def train(self,x,y,epochs=12,batch_size=64):
dataset = tf.data.Dataset.from_tensor_slices((x,y))
dataset = dataset.shuffle(buffer_size=1024).batch(batch_size)
for i in range(epochs):
start = time.time()
for step,(x,y) in enumerate(dataset):
with tf.GradientTape() as tape:
preds = self.predict(x)
loss = self.compute_loss(y,preds)
dw,db = tape.gradient(loss,[self.w,self.b])
self.w.assign_sub(self.lr*dw)
self.b.assign_sub(self.lr*db)
print("Epoch %d : loss = %.4f time taken = %.3f s"% (i,float(loss),time.time()-start))
model = Linear_Model(1,0.01)
model.train(x,y,epochs=15)
Редактировать - Из-за того, что я играю со скоростью обучения, я вижу, что скорость обучения 0,01 слишком велика. Однако это не проблема для всех реализаций, которые я видел в Интернете. Что здесь происходит?