Как преобразовать модель Spark ml в нормальную модель python (например модель sklearn)?

Question

Поскольку объем данных огромен, я не могу обучить эту модель на своем P C, но эту модель следует развернуть как веб-сервис.

Для моего плана

1. использовать Spark обучить модель
2. преобразовать эту модель в модель sklearn или поделку numpy модель, преобразовать в файл
3. настроить flask веб-сервер, загрузить эту модель
4. обслужить запрос дохода и сделать прогноз

Проблема

Я понятия не имею, как преобразовать модель Spark ml в модель sklearn. Я нашел это в Google, но ничего полезного не нашел.

Answer 1

Вы смотрели https://mleap-docs.combust.ml/? Это может быть хорошим вариантом, если вы тренируете свои модели в Spark, особенно если вы используете Databricks. ваши требования