Как выполнить поиск по сетке для Random Forest с использованием библиотеки Apache Spark ML

Question

Я хочу выполнить поиск по сетке для моей модели случайного леса в Apache Spark. Но я не могу найти пример для этого. Есть ли в примерах данных пример, где я могу выполнить настройку гиперпараметров с помощью Grid Search?

Answer 1

from pyspark.ml import Pipeline
from pyspark.ml.classification import RandomForestClassifier
from pyspark.ml.evaluation import BinaryClassificationEvaluator
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder


rf = RandomForestClassifier(labelCol="indexedLabel", featuresCol="indexedFeatures", numTrees=10)
pipeline = Pipeline(stages=[rf])
paramGrid = ParamGridBuilder().addGrid(rf.numTrees, [10, 30]).build()

crossval = CrossValidator(estimator=pipeline,
                          estimatorParamMaps=paramGrid,
                          evaluator=BinaryClassificationEvaluator(),
                          numFolds=2) 

cvModel = crossval.fit(training_df)

гиперпараметры и сетка определены в методе addGrid