Обучение нелинейной модели SVC с использованием Pyspark

Question

Есть ли способ обучить нелинейную SVC модель с использованием Pyspark ? Я пробовал:

 from sklearn.svm import SVC
 svc = SVC(kernel="rbf", random_state=0, gamma=1, C=1)
 model = svc.fit(features, target)

( функции и target - это два кадра данных, преобразованные в список). проблема в том, что я хотел бы потренироваться с компонентом в Pyspark , чтобы ускорить мои тренировки

Answer 1

Нелинейный SVC недоступен (пока) в Pyspark на сегодняшний день согласно: https://issues.apache.org/jira/browse/SPARK-4638 если вы посмотрите последний комментарий одного из участников сообщества Spark:

Было бы здорово иметь нелинейные ядра для SVM в Spark. Основными барьерами являются: Ядерное обучение SVM сложно распространять. Наивные методы требуют много общения. Чтобы внедрить эту функцию в Spark, нам нужно было провести надлежащее исследование фона и написать хороший дизайн. Другие алгоритмы ML, вероятно, более востребованы и все еще нуждаются в улучшении (на момент написания этого комментария). Древесные ансамбли - это в первую очередь мои мысли.