Я хотел бы сделать вложенную перекрестную проверку в Spark.Я не могу найти способ выполнить внутренний раунд GridSearchCV, а затем передать его во внешний раунд перекрестной проверки, как это обычно делается в Sklearn.
Я также заметил, что функция Spark Cross Validate позволяет передавать сетку параметров, что в значительной степени делает его идентичным GridSearchCV от sklearn.Поэтому, возможно, я мог бы иметь внутреннюю функцию PySpark Cross Validate с param_grid и передать ее внешней функции PySpark Cross Validate без param_grid.
Любые идеи очень приветствуются.