Добавьте подходящую модель как PipelineStage в искровой ML Pipeline

Question

У меня есть подходящая модель word2vec, которую я хочу использовать в различных проектах.

То есть я создал Оценщик Word2Vec, установил его в свой набор данных.Это дает мне Word2VecModel, который я могу сохранить.Как теперь я могу добавить эту модель в конвейер?

Предпочтительно, я все еще хотел бы иметь возможность «подогнать» конвейер, но исключить повторную установку Word2VecModel.Но эта последняя часть не обязательна.

В идеале я бы хотел сделать это в pyspark.Но это также необязательно.

Answer 1

Просто добавьте это как есть.Например, если у вас есть

from pyspark.ml.feature import Word2VecModel 

w2vmodel = Word2VecModel.load(...)

, вы можете

from pyspark.ml import Pipeline

Pipeline(stages=[w2vmodel]).fit(df).transform(df)