Ошибка MLeap serializeToBundle для пользовательского Трансформера Pyspark - PullRequest
Новая
       21

Ошибка MLeap serializeToBundle для пользовательского Трансформера Pyspark

0 голосов
/ 18 января 2019

У меня есть пользовательский Transformer Pyspark, который я пытаюсь сериализовать в объект bundle mLeap для более поздней оценки модели, но я получаю следующую ошибку: 

---> 42         self._java_obj.serializeToBundle(transformer._to_java(), path, dataset._jdf)
     43
     44     def deserializeFromBundle(self, path):

/usr/lib/spark/python/pyspark/ml/pipeline.py in _to_java(self)
    314         java_stages = gateway.new_array(cls, len(self.stages))
    315         for idx, stage in enumerate(self.stages):
--> 316             java_stages[idx] = stage._to_java()
    317
    318         _java_obj =\

AttributeError: 'MyCustomTransformer' object has no attribute '_to_java'

Мой пользовательский преобразователь наследуется от pyspark.ml.Transformer, но похоже, что для работы сериализации mleap требуется реализация _to_java()?

Какие у меня варианты?

...