Почему сеть сегментации Tensorflow возвращает пустые данные, когда для параметра сеанса is_trainning задано значение false для слоев batchNorm? - PullRequest
Новая
       34

Почему сеть сегментации Tensorflow возвращает пустые данные, когда для параметра сеанса is_trainning задано значение false для слоев batchNorm?

1 голос
/ 25 марта 2019

Я работаю с нейронной сетью для сегментации изображения с использованием Tensorflow.Фаза обучения и прогон вывода в порядке, если для параметра is_traning слоя slim.batch_norm установлено значение True.
Но когда я запускаю сеанс с использованием is_training как ложь, означающая (в том, что я понимаю) просто вывод / пересылка данных через сеть, данные изображения сегментации результата получаются пустыми.
Я считаю, что это связано со слоями batchNorm, но я уже сошел с ума из-за этого и просто не могу заставить его работать.

Я использую код, основанный на Semantic Segmentation Suite вTensorFlow .Ниже приведена упрощенная версия того, что работает, а что нет. 

.....
def ConvBlock(inputs, n_filters, kernel_size=[3, 3],is_training=True):
    net = slim.conv2d(inputs, n_filters, kernel_size=[1, 1], activation_fn=None)
    net = slim.batch_norm(net, fused=True, is_training=is_training)
    net = tf.nn.relu(net)
    return net

def DepthwiseSeparableConvBlock(inputs, n_filters, kernel_size=[3, 3],is_training=True):
    net = slim.separable_convolution2d(inputs, num_outputs=None, depth_multiplier=1, kernel_size=[3, 3], activation_fn=None)
    net = slim.batch_norm(net, fused=True, is_training=is_training)
    net = tf.nn.relu(net)
    ....
    return net

def ConvTransposeBlock(inputs, n_filters, kernel_size=[3, 3],is_training=True):
    net = slim.conv2d_transpose(inputs, n_filters, kernel_size=[3, 3], stride=[2, 2], activation_fn=None)
    net = slim.batch_norm(net,is_training=is_training)
    net = tf.nn.relu(net)
    return net

def build_mobile_unet(inputs, .... ,is_training=True):
    net = ConvBlock(inputs, 64, is_training=is_training)
    net = DepthwiseSeparableConvBlock(net, 64, is_training=is_training)
    net = slim.pool(net, [2, 2], stride=[2, 2], pooling_type='MAX')
    ....
    net = ConvTransposeBlock(net, 64, is_training=is_training)
    net = DepthwiseSeparableConvBlock(net, 64, is_training=is_training)
    net = DepthwiseSeparableConvBlock(net, 64, is_training=is_training)
    net = slim.conv2d(net, num_classes, [1, 1], activation_fn=None, scope='logits')
    return net



# Define the param placeholders 
net_input_image = tf.placeholder(tf.float32,shape=[None,None,None,3], name="input") 
net_input_label = tf.placeholder(tf.int32, [None,None,None])
# Training phase placeholder
net_training = tf.placeholder(tf.bool, name='phase_train')

model, _ = build_mobile_unet(
    net_input=net_input_image, 
    ....
    is_training=net_training)

model = tf.nn.softmax(model, name="softmax_output")

with tf.name_scope('loss'):
    cross_entropy =tf.losses.sparse_softmax_cross_entropy(logits=model, labels=net_input_label)
cross_entropy = tf.reduce_mean(cross_entropy)

# use RMSProp to optimize
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
    optimizer =  tf.train.RMSPropOptimizer(learning_rate=0.0001,decay=0.995)
    train_step = optimizer.minimize(cross_entropy)

# create train OP
total_loss = tf.losses.get_total_loss()
train_op = slim.learning.create_train_op(total_loss,optimizer)


# Do the training here
for epoch in range(args.epoch_start_i, args.num_epochs):

    input_image_batch = ...
    label_image_batch = ...

    # Do the training
    train_dict={
             net_input_image:input_image_batch,
             net_input_label:label_image_batch,
             net_training: True
    }
    train_loss=sess.run(train_op, feed_dict=train_dict)


    # Do the validation on a small set of validation images
    for ind in val_indices:

        input_image = np.expand_dims(np.float32(utils.load_image(val_input_names[ind])[:args.crop_height, :args.crop_width]),axis=0)/255.0
        gt = utils.load_image(val_output_names[ind])[:args.crop_height, :args.crop_width]
        gt = helpers.reverse_one_hot(helpers.one_hot_it(gt, label_values))

        # THIS WORKS : Image segmentation result is OK
        output_image = sess.run(
            model,
            feed_dict={
                net_input_image:input_image,
                net_training: True
                })
        # THIS FAILS : Image segmentation result is all Zeros....
        output_image = sess.run(
            model,
            feed_dict={
                net_input_image:input_image,
                net_training: False
                })

Обучение работает хорошо, и сеть сходится и все .... и если я всегда сохраняю заполнитель net_training как True, все хорошо.

Но я вызываю sess.run (model, ... net_training: False) , как вы можете видеть в приведенном выше коде при тестировании некоторых изображенийвыходной результат получается пустым.

Что я делаю не так, ребята?
Любая помощь будет принята с благодарностью.Спасибо за ваше время.

...