Пример логистической регрессии вероятности потока - PullRequest
Новая
       4

Пример логистической регрессии вероятности потока

0 голосов
/ 31 октября 2018

Я чувствую, что, должно быть, упускаю что-то очевидное, пытаясь получить положительный контроль над логистической регрессией с вероятностью тензора.

Я изменил пример логистической регрессии здесь и создал элементы положительного контроля и метки данных. Я изо всех сил стараюсь достичь точности более 60%, однако это легкая проблема для «ванильной» модели Keras (точность 100%). Что мне не хватает? Я пробовал разные слои, активации и т. Д. При таком методе настройки модели выполняется ли последующее обновление? Нужно ли указывать объект-перехватчик? Большое спасибо .. 

### Added positive control
nSamples = 80
features1 = np.float32(np.hstack((np.reshape(np.ones(40), (40, 1)), 
        np.reshape(np.random.randn(nSamples), (40, 2)))))
features2 = np.float32(np.hstack((np.reshape(np.zeros(40), (40, 1)), 
        np.reshape(np.random.randn(nSamples), (40, 2)))))
features = np.vstack((features1, features2))
labels = np.concatenate((np.zeros(40), np.ones(40)))
featuresInt, labelsInt = build_input_pipeline(features, labels, 10)
###

#w_true, b_true, features, labels = toy_logistic_data(FLAGS.num_examples, 2) 
#featuresInt, labelsInt = build_input_pipeline(features, labels, FLAGS.batch_size)

with tf.name_scope("logistic_regression", values=[featuresInt]):
    layer = tfp.layers.DenseFlipout(
        units=1,
        activation=None,
        kernel_posterior_fn=tfp.layers.default_mean_field_normal_fn(),
        bias_posterior_fn=tfp.layers.default_mean_field_normal_fn())
    logits = layer(featuresInt)
    labels_distribution = tfd.Bernoulli(logits=logits)

neg_log_likelihood = -tf.reduce_mean(labels_distribution.log_prob(labelsInt))
kl = sum(layer.losses)
elbo_loss = neg_log_likelihood + kl

predictions = tf.cast(logits > 0, dtype=tf.int32)
accuracy, accuracy_update_op = tf.metrics.accuracy(
    labels=labelsInt, predictions=predictions)

with tf.name_scope("train"):
    optimizer = tf.train.AdamOptimizer(learning_rate=FLAGS.learning_rate)
    train_op = optimizer.minimize(elbo_loss)

init_op = tf.group(tf.global_variables_initializer(),
                    tf.local_variables_initializer())

with tf.Session() as sess:
    sess.run(init_op)

    # Fit the model to data.
    for step in range(FLAGS.max_steps):
        _ = sess.run([train_op, accuracy_update_op])
        if step % 100 == 0:
            loss_value, accuracy_value = sess.run([elbo_loss, accuracy])
            print("Step: {:>3d} Loss: {:.3f} Accuracy: {:.3f}".format(
                step, loss_value, accuracy_value))

### Check with basic Keras
kerasModel = tf.keras.models.Sequential([
    tf.keras.layers.Dense(1)])
optimizer = tf.train.AdamOptimizer(5e-2)
kerasModel.compile(optimizer = optimizer, loss = 'binary_crossentropy', 
    metrics = ['accuracy'])

kerasModel.fit(features, labels, epochs = 50) #100% accuracy

1 Ответ

0 голосов
/ 13 декабря 2018

По сравнению с примером github вы забыли поделить на количество примеров при определении дивергенции KL: 

kl = sum(layer.losses) / FLAGS.num_examples

Когда я изменяю это на ваш код, я быстро получаю точность данных ваших игрушек 99,9%.

Дополнительно, выходной слой вашей модели Keras фактически ожидает активации sigmoid для этой проблемы (двоичная классификация): 

kerasModel = tf.keras.models.Sequential([
    tf.keras.layers.Dense(1, activation='sigmoid')])

Это проблема с игрушкой, но вы заметите, что модель достигает 100% точности с сигмовидной активацией.

...