что значит "[...]" загружать данные на диск с тензорным потоком - PullRequest
Новая
       25

что значит "[...]" загружать данные на диск с тензорным потоком

0 голосов
/ 27 мая 2019

Я начинаю с тензорного потока и машинного обучения, но у меня есть очень полезная книга об этом. Я хотел бы реализовать мини-пакетный градиентный спуск. Я точно следовал тому, что они сказали, но это не сработало.

Это объясняется как: "Наконец, на этапе выполнения выбирайте мини-пакеты одну за другой, затем предоставьте значения X и Y через параметр feed_dict при оценке узла, который зависит от любого из них. «

Я использую Jupyter notebook, tensorflow 1.3.0.

Вот что я попробовал: 

    n_epochs=1000
    learning_rate=0.0001
    #X=tf.constant(housing_data_plus_bias,dtype=tf.float32,name="X")
    X=tf.placeholder(tf.float32,shape=(None,n+1),name="X")
    Y=tf.placeholder(tf.float32,shape=(None,1),name="Y")
    batch_size=100
    n_batches=int(np.ceil(m/batch_size))
    #Y=tf.constant(housing.target.reshape(-1,1),dtype=tf.float32,name="Y")
    theta=tf.Variable(tf.random_uniform([n+1,1],-1.0,1.0),name="theta")
    y_pred=tf.matmul(X,theta,name="predictions")  #eq 1.4
    error=y_pred - Y
    mse=tf.reduce_mean(tf.square(error),name="mse") #eq 1.5
    #gradients=tf.gradients(mse,[theta])[0]
    gradients= (2/(m*mse) ) * tf.matmul(tf.transpose(X),error) 
    training_op = tf.assign(theta,theta - learning_rate * gradients)

    def fetch_batch(epoch,batch_index,batch_size):
        [...]   #Load DATA FROM DISK (SEE NOTEBOOK)
        return X_batch, Y_batch

    init=tf.global_variables_initializer()

    with tf.Session() as sess:
       sess.run(init)
       for epoch in range(n_epochs):
           for batch_index in range(n_batches):
                X_batch,Y_batch=fetch_batch(epoch,batch_index,batch_size)
                sess.run(training_op,feed_dict={X:X_batch,Y:Y_batch})


    best_theta=theta.eval()
    print(best_theta)

и вот ошибка: 

 ---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-41-f199ccce6734> in <module>
     27     for epoch in range(n_epochs):
     28         for batch_index in range(n_batches):
---> 29             X_batch,Y_batch=fetch_batch(epoch,batch_index,batch_size)
     30             sess.run(training_op,feed_dict={X:X_batch,Y:Y_batch})
     31 

<ipython-input-41-f199ccce6734> in fetch_batch(epoch, batch_index, batch_size)
     19 def fetch_batch(epoch,batch_index,batch_size):
     20     [...]
---> 21     return X_batch, Y_batch
     22 
     23 init=tf.global_variables_initializer()

NameError: name 'X_batch' is not defined

Итак, мой вопрос: что мне с этим делать [...], это реальный способ загрузки данных с диска или я должен что-то заменить?

...