Почему все отключено в моем графике Tensorboard?

Question

Я внедрил CNN для обнаружения человеческой деятельности с помощью данных акселерометра, моя модель работает очень хорошо, но когда я визуализирую свой графический объект на тензорной доске, кажется, что все отключено.Прямо сейчас я не использую Namescopes, но даже без него grpagh должен иметь какой-то смысл, верно?

РЕДАКТИРОВАТЬ После реализацииответ, данный @ user1735003, это вывод.Что я до сих пор не понимаю, так это то, почему я получаю все узлы слева

То, что я реализовал, таково: у меня два слоя сверткии два слоя с максимальным пулом, и к тому же у меня есть два скрытых слоя с 1024 и 512 нейронами.

так вот мой код:

#Weights
def init_weights(shape):
    init_random_dist = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(init_random_dist)


#Bias
def init_bias(shape):
    init_bias = tf.constant(0.1,shape=shape)
    return tf.Variable(init_bias)

def conv1d(x,weights):
    #x is input accelration data and W is corresponding weight
    return tf.nn.conv1d(value=x,filters = weights,stride=1,padding='VALID')

def convolution_layer(input_x,shape):
   w1 = init_weights(shape)
   b = init_bias([shape[2]])
   return tf.nn.relu(conv1d(input_x,weights=w1)+b)


def normal_full_layer(input_layer,size):
    input_size = int(input_layer.get_shape()[1])
    W = init_weights([input_size, size])
    b = init_bias([size])
    return tf.matmul(input_layer, W) +b


x = tf.placeholder(tf.float32,shape=[None ,window_size,3]) #input tensor with 3 input channels
y = tf.placeholder(tf.float32,shape=[None,6]) #Labels

con_layer_1 = convolution_layer(x,shape=[4,3,32])#filter  of shape [filter_width, in_channels, out_channels]

max_pool_1=tf.layers.max_pooling1d(inputs=con_layer_1,pool_size=2,strides=2,padding='Valid')

con_layer_2 = convolution_layer(max_pool_1,shape=[4,32,64])

max_pool_2 = tf.layers.max_pooling1d(inputs=con_layer_2,pool_size=2,strides=2,padding='Valid')

flat = tf.reshape(max_pool_2,[-1,max_pool_2.get_shape()[1]*max_pool_2.get_shape()[2]])

fully_conected = tf.nn.relu(normal_full_layer(flat,1024))


second_hidden_layer = tf.nn.relu(normal_full_layer(fully_conected,512))
hold_prob = tf.placeholder(tf.float32)
full_one_dropout = tf.nn.dropout(second_hidden_layer,keep_prob=hold_prob)


y_pred = normal_full_layer(full_one_dropout,6)
pred_softmax = tf.nn.softmax(y_pred)


cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=y_pred))

optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
train = optimizer.minimize(cross_entropy)
init = tf.global_variables_initializer()




with tf.Session() as sess:
sess.run(init)
filename="./summary_log11/run"
summary_writer = tf.summary.FileWriter(filename, graph_def=sess.graph_def)

for i in range(5000):
    batch_x,batch_y = next_batch(100,X_train,y_train)
    sess.run(train, feed_dict={x: batch_x, y: batch_y, hold_prob: 0.5})

    # PRINT OUT A MESSAGE EVERY 100 STEPS
    if i%100 == 0:

        print('Currently on step {}'.format(i))
        print('Accuracy is:')
        # Test the Train Model
        matches = tf.equal(tf.argmax(y_pred,1),tf.argmax(y,1))

        acc = tf.reduce_mean(tf.cast(matches,tf.float32))

        print(sess.run(acc,feed_dict={x:X_test,y:y_test,hold_prob:1.0}))
        print('\n')

Answer 1

Поскольку вы не указали явным образом свои tf-операции, это было выполнено автоматически с помощью tenorflow, например, операторам ReLu были присвоены имена ReLu_1, ReLu_2, ....В соответствии с документацией по тензорной доске :

Последним структурным упрощением является разрушение серии.Последовательные мотивы - то есть узлы, имена которых отличаются на число в конце и имеют изоморфные структуры - объединяются в один стек узлов , как показано ниже.Для сетей с длинными последовательностями это значительно упрощает представление.

Как видно на правой стороне графика, все узлы add_[0-7], MatMul_[0-5] и Relu_[0-5] были сгруппированы вместе, посколькуу них сходные имена, это не значит, что узлы отключены в вашем графике, это просто политика группировки узлов тензорной доски.

Если вы хотите избежать этого, присвойте своим операциям имена, которые отличаются от обычныхпо номеру в конце.Или используйте tf.name_scope () , как вы упомянули, например:

with tf.name_scope("conv1"):
  con_layer_1 = convolution_layer(x,shape=[4,3,32])
  max_pool_1=tf.layers.max_pooling1d(inputs=con_layer_1,pool_size=2,strides=2,padding='Valid')

with tf.name_scope("conv2"):
  con_layer_2 = convolution_layer(max_pool_1,shape=[4,32,64])
  max_pool_2 = tf.layers.max_pooling1d(inputs=con_layer_2,pool_size=2,strides=2,padding='Valid')

# etc.

Answer 2

Попробуйте организовать ваши узлы в области.Это поможет Tensorboard выяснить иерархию вашего графа.Например,

with tf.variable_scope('input'):
    x = tf.placeholder(tf.float32,shape=[None ,window_size,3]) #input tensor with 3 input channels
    y = tf.placeholder(tf.float32,shape=[None,6]) #Labels

with tf.variable_scope('net'):

    con_layer_1 = convolution_layer(x,shape=[4,3,32])#filter  of shape [filter_width, in_channels, out_channels]

    max_pool_1=tf.layers.max_pooling1d(inputs=con_layer_1,pool_size=2,strides=2,padding='Valid')

    con_layer_2 = convolution_layer(max_pool_1,shape=[4,32,64])

    max_pool_2 = tf.layers.max_pooling1d(inputs=con_layer_2,pool_size=2,strides=2,padding='Valid')

    flat = tf.reshape(max_pool_2,[-1,max_pool_2.get_shape()[1]*max_pool_2.get_shape()[2]])

    fully_conected = tf.nn.relu(normal_full_layer(flat,1024))


    second_hidden_layer = tf.nn.relu(normal_full_layer(fully_conected,512))
    hold_prob = tf.placeholder(tf.float32)
    full_one_dropout = tf.nn.dropout(second_hidden_layer,keep_prob=hold_prob)


    y_pred = normal_full_layer(full_one_dropout,6)
    pred_softmax = tf.nn.softmax(y_pred)

with tf.variable_scope('loss'):

    cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=y_pred))

with tf.variable_scope('optimizer'):
    optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
    train = optimizer.minimize(cross_entropy)