Буду признателен за любые идеи о том, как выполнить распределенную перекрестную проверку и случайный поиск с оценками pyspark и scikit-learn.
Пожалуйста, НЕ предлагайте какие-либо стратегии решения, использующие joblibspark - когда набор обучения слишком большой (~ 1 ГБ и выше), и каждый хочет использовать много искровых исполнителей (> 20 и до нескольких сотен), используя joblibspark, что приводит к взрывному потреблению памяти на узле драйвера, который затем падает.