Оценщик для LDA - PullRequest
Новая
       18

Оценщик для LDA

0 голосов
/ 11 февраля 2020

Я пытаюсь выполнить оптимизацию гиперпараметра для скрытого распределения Дирихле с использованием Apache Spark. Я не мог найти подходящего оценщика для этой цели. `

    LDA lda = new LDA();

    ParamMap[] paramGrid = new ParamGridBuilder()
              .addGrid(lda.topicConcentration(), new double[] {0.01,0.05,0.1,0.5,1,5,10})
              .build();

    TrainValidationSplit trainValidationSplit = new TrainValidationSplit()
              .setEstimator(lda)
              .setEstimatorParamMaps(paramGrid)
              .setEvaluator(???)
              .setTrainRatio(0.8);`

Что я должен использовать в разделе setEvaluator? Я хочу выбрать модель в зависимости от вероятности или недоумения

...