Я PCA с Deep нейронной сети, использующей TenserFlow с базой данных MNISt, получая ошибки с формой данных - PullRequest
Новая
       7

Я PCA с Deep нейронной сети, использующей TenserFlow с базой данных MNISt, получая ошибки с формой данных

0 голосов
/ 25 ноября 2018

Я пытаюсь обучить базу данных mnist с помощью нейронной сети после применения PCA.и я продолжаю получать ошибки из-за формы данных после применения PCA.Я не уверен, как совместить все вместе.и как пройти всю базу данных, а не только маленький патч.

вот мой код: 

    <pre> <code>

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import random
from sklearn.preprocessing import StandardScaler
from tensorflow.examples.tutorials.mnist import input_data
from sklearn.decomposition import PCA

datadir='/data' 
data= input_data.read_data_sets(datadir, one_hot=True)
train_x = data.train.images[:55000]
train_y= data.train.labels[:55000]
test_x = data.test.images[:10000]
test_y = data.test.labels[:10000]
print("original shape:   ", data.train.images.shape)

percent=600
pca=PCA(percent)
train_x=pca.fit_transform(train_x)
test_x=pca.fit_transform(test_x)
print("transformed shape:", data.train.images.shape)
train_x=pca.inverse_transform(train_x)
test_x=pca.inverse_transform(test_x)
c=pca.n_components_

plt.figure(figsize=(8,4));
plt.subplot(1, 2, 1);
image=np.reshape(data.train.images[3],[28,28])
plt.imshow(image, cmap='Greys_r')
plt.title("Original Data")

plt.subplot(1, 2, 2);
image1=train_x[3].reshape(28,28)
image.shape
plt.imshow(image1, cmap='Greys_r')
plt.title("Original Data after 0.8 PCA")

plt.figure(figsize=(10,8))
plt.plot(range(c), np.cumsum(pca.explained_variance_ratio_))
plt.grid()
plt.title("Cumulative Explained Variance")
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance');


num_iters=10
hidden_1=1024
hidden_2=1024
input_l=percent
out_l=10
'''input layer'''
x=tf.placeholder(tf.float32, [None, 28,28,1])
x=tf.reshape(x,[-1, input_l])

w1=tf.Variable(tf.random_normal([input_l,hidden_1])) 
w2=tf.Variable(tf.random_normal([hidden_1,hidden_2]))
w3=tf.Variable(tf.random_normal([hidden_2,out_l]))

b1=tf.Variable(tf.random_normal([hidden_1]))
b2=tf.Variable(tf.random_normal([hidden_2]))
b3=tf.Variable(tf.random_normal([out_l]))

Layer1=tf.nn.relu_layer(x,w1,b1)
Layer2=tf.nn.relu_layer(Layer1,w2,b2)
y_pred=tf.matmul(Layer2,w3)+b3
y_true=tf.placeholder(tf.float32,[None,out_l])


loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred, 
labels=y_true))
optimizer= tf.train.AdamOptimizer(0.006).minimize(loss)
correct_pred=tf.equal(tf.argmax(y_pred,1), tf.argmax(y_true,1))
accuracy= tf.reduce_mean(tf.cast(correct_pred, tf.float32))

store_training=[]
store_step=[]
m = 10000

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)

    for epoch in range(num_iters):
        indices = random.sample(range(0, m), 100)
        batch_xs = train_x[indices]
        batch_ys = train_y[indices]
        sess.run(optimizer, feed_dict={x:batch_xs, y_true:batch_ys})
        training=sess.run(accuracy, feed_dict={x:test_x, y_true:test_y})
        store_training.append(training)  
    testing=sess.run(accuracy, feed_dict={x:test_x, y_true:test_y})

print('Accuracy :{:.4}%'.format(testing*100))
z_reg=len(store_training)
x_reg=np.arange(0,z_reg,1)
y_reg=store_training
plt.figure(1)
plt.plot(x_reg, y_reg,label='Regular Accuracy')

, это ошибка, которую я получил: 


    "Traceback (most recent call last):</p>

 File "<ipython-input-2-ff57ada92ef5>", line 135, in <module>
sess.run(optimizer, feed_dict={x:batch_xs, y_true:batch_ys})

 File "C:\anaconda3\lib\site-packages\tensorflow\python\client\session.py", 
 line 929, in run
  run_metadata_ptr)

 File "C:\anaconda3\lib\site-packages\tensorflow\python\client\session.py", 
 line 1128, in _run
 str(subfeed_t.get_shape())))

 ValueError: Cannot feed value of shape (100, 784) for Tensor 'Reshape:0', 
 which has shape '(?, 600)'"

Ответы [ 2 ]

0 голосов
/ 25 ноября 2018

Прежде всего, я рекомендую устанавливать PCA только для комплекта поездов, поскольку вы можете получить различные компоненты PCA для обучения и тестирования.Поэтому самое простое решение - изменить следующий фрагмент кода: 

percent=600
pca=PCA(percent)
train_x=pca.fit_transform(train_x)
test_x=pca.fit_transform(test_x)

на 

percent=.80
pca=PCA(percent)
pca.fit(train_x)
train_x=pca.transform(train_x)
test_x=pca.transform(test_x)

Во-вторых, вы используете percent=600 при выполнении PCA, а затем применяете обратное преобразование PCA, что означаетчто вы вернетесь в космос с оригинальным количеством функций.Чтобы начать обучение с уменьшенным числом компонентов PCA, вы также можете попробовать изменить этот фрагмент кода: 

train_x=pca.inverse_transform(train_x)
test_x=pca.inverse_transform(test_x)
c=pca.n_components_
<plotting code>    
input_l=percent

на: 

c=pca.n_components_
#plotting commented out   
input_l=c

Это должно дать вам правильный тензорразмеры для последующей процедуры оптимизации.

0 голосов
/ 25 ноября 2018

Ошибка говорит о том, что вы изменяете свой тензор x, который имеет форму (None, 28 , 28, 1), чтобы сформировать (None, percent), и вы задали значение percent как 600, а позже вы задаете значение x как (100, 28*28*1) и подача его на x, который имеет форму (None, 600) и не соответствует.

...