Deeplearning4j (DL4J) низкая точность, отзыв и F1 - PullRequest
Новая
       34

Deeplearning4j (DL4J) низкая точность, отзыв и F1

0 голосов
/ 18 октября 2018

Я собираюсь использовать DL4J для нахождения хорошей модели по условной матрице.Я подготовил CSV-подобный набор данных (образец, как показано ниже), и после точной настройки гиперпараметров и многократного обучения модели я все еще не могу получить разумные результаты Precision, Recall и F1.Могу ли я спросить, правильно ли я что-то реализовал?

Пример набора данных:

## В основном каждый столбец определяет, существует ли условие (1) или нет(0) для каждого образца.Первый столбец класса меток имеет только 2 выхода, т.е. 1/0 

[1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 1, 0, 1, 1, 1, 1, 0, 0, 1]
[1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 0, 0, 0, 1, 1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 0]
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]
...........

DataVec часть: 

int OUTPUT_NEURONS = 2;  // Only 2 classes for output
int CLASS_INDEX = 0;     // First column is the label
int FILE_SIZE = 0;       // FILE_SIZE will be calculated while preparing the datavecRecords below

List<List<Writable>> datavecRecords = new ArrayList<>();

......
Prepare the datavecRecords using above csv data 
......

CollectionRecordReader crr = new CollectionRecordReader(datavecRecords);
RecordReaderDataSetIterator iter = new RecordReaderDataSetIterator(crr, FILE_SIZE, CLASS_INDEX, OUTPUT_NEURONS);
allData = iter.next();

SplitTestAndTrain testAndTrain = allData.splitTestAndTrain(0.6);
DataSet trainingData = testAndTrain.getTrain();
DataSet testData = testAndTrain.getTest();

DataNormalization normalizer = new NormalizerStandardize();
normalizer.fit(trainingData);
normalizer.transform(trainingData);
normalizer.transform(testData);

// For early escaping use
DataSetIterator trainSetIterator = new ListDataSetIterator(trainingData.asList()); 
DataSetIterator testSetIterator = new ListDataSetIterator(testData.asList()); 

// sortedKeys is the calculated number of input columns

INPUT_NEURONS = sortedKeys.size() - 1; 
HIDDEN_NEURONS = FILE_SIZE / (2 * (INPUT_NEURONS + OUTPUT_NEURONS));
HIDDEN_NEURONS = HIDDEN_NEURONS <= 0 ? 1 : HIDDEN_NEURONS;

Модель: 

int n=0;
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
    .seed(12345)
    .iterations(1)
    .learningRate(0.001)
    .weightInit(WeightInit.XAVIER)
    .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
    .regularization(true).l2(1e-4)
    .updater(new Nesterovs(0.001,0.9))
    .list()
        .layer(n++, new DenseLayer.Builder()
            .nIn(INPUT_NEURONS)
            .nOut(HIDDEN_NEURONS)
            .activation(Activation.RELU)
            .build())
        .layer(n++, new OutputLayer.Builder(LossFunction.NEGATIVELOGLIKELIHOOD)
            .nIn(HIDDEN_NEURONS)
            .nOut(OUTPUT_NEURONS)
            .activation(Activation.SOFTMAX)
            .build())
    .pretrain(false).backprop(true).build();            

EarlyStoppingConfiguration esConf = new EarlyStoppingConfiguration.Builder()
    .epochTerminationConditions(
        new MaxEpochsTerminationCondition(10000), 
        new ScoreImprovementEpochTerminationCondition(50))
    .iterationTerminationConditions(new MaxTimeIterationTerminationCondition(5, TimeUnit.MINUTES))
    .scoreCalculator(new DataSetLossCalculator(testSetIterator, true))
    .evaluateEveryNEpochs(1)
    .modelSaver(saver)
    .build();

Код поезда и теста 

StatsStorage statsStorage = new InMemoryStatsStorage();
MultiLayerNetwork networkModel = new MultiLayerNetwork(conf);
networkModel.setListeners(new StatsListener(statsStorage), new ScoreIterationListener(10));


IEarlyStoppingTrainer trainer = new EarlyStoppingTrainer(esConf, networkModel, trainSetIterator);
EarlyStoppingResult<MultiLayerNetwork> result = trainer.fit();


// -------------------------- Evaluation trained model and print results --------------------------
System.out.println("Termination reason: " + result.getTerminationReason());
System.out.println("Termination details: " + result.getTerminationDetails());
System.out.println("Total epochs: " + result.getTotalEpochs());
System.out.println("Best epoch number: " + result.getBestModelEpoch());
System.out.println("Score at best epoch: " + result.getBestModelScore());

MultiLayerNetwork bestNetwork = result.getBestModel();
Evaluation eval1 = new Evaluation(OUTPUT_NEURONS);
testSetIterator.reset();

for (int i = 0; i < testData.numExamples(); i++) {
    DataSet t = testData.get(i);
    INDArray features = t.getFeatureMatrix();
    INDArray labels = t.getLabels();
    INDArray output = bestNetwork.output(features, false);
    eval1.eval(labels, output);
}

M.messageln(eval1.stats());

Результаты: 

Termination reason: EpochTerminationCondition
Termination details: ScoreImprovementEpochTerminationCondition(maxEpochsWithNoImprovement=50, minImprovement=0.0)
Total epochs: 55
Best epoch number: 4
Score at best epoch: 0.6579822991097982

Examples labeled as 0 classified by model as 0: 397 times
Examples labeled as 0 classified by model as 1: 58 times
Examples labeled as 1 classified by model as 0: 190 times
Examples labeled as 1 classified by model as 1: 55 times


==========================Scores========================================
 # of classes:    2
 Accuracy:        0.6457
 Precision:       0.5815
 Recall:          0.5485
 F1 Score:        0.3073
========================================================================
Pattern1 :      Accuracy: 0.6457142857142857 | Precision: 0.5815229681446081 | Recall: 0.54850863422292 | F1: 0.3072625698324022

НетНезависимо от того, как я настраиваю скорость обучения, методы активации ввода-вывода, средства обновления, регулировки и т. д., я все еще не могу получить удовлетворительный результат.Благодарен, если вы можете дать мне руку, как я могу лучше управлять DL4J.Я работаю над Арбитром, но безуспешно.Не уверен, что я использую стабильную версию 0.9.1 или нет.

Спасибо за миллиард!

Ответы [ 2 ]

0 голосов
/ 19 октября 2018

Код выглядит хорошо.Вы не сделали ничего плохого там.Мне просто нужно это настроить.

Разбивка между тестом и поездом 60/40 у вас выше, чем я обычно вижу, это 70/30 или 80/20.Есть ли причина, по которой вы хотите предоставить больше данных для тестирования?

Когда вы говорите «разумно», имеете ли вы в виду сравнение с базовым уровнем?Если нет, то я бы начал с выходного слоя, который по сути является логистической регрессией, и вы можете использовать ее в качестве базовой линии.

Вы пробовали добавить больше слоев?Еще один слой с выпадением и может быть полезным.

0 голосов
/ 18 октября 2018

Вы можете найти ответ на свой вопрос в сообществе пользователей здесь: https://gitter.im/deeplearning4j/deeplearning4j/tuninghelp

...