Mixin Factory Классы с писпарком - PullRequest
Новая
       30

Mixin Factory Классы с писпарком

0 голосов
/ 30 апреля 2018

Я работаю с PySpark, используя фабрику mixin двух классов

Но каждый раз, когда функция карты называется ядром, он просто ломается, пытается отладить и найти соответствующее решение, но не находит поддержки.

На данный момент у меня есть несколько классов, эти классы называются в соответствии с потребностями Интересно, что этот формат работал в предыдущей версии Spark (1.6), но позже не работает с последней Spark 2.0

Я полагаю, это из-за противоречивого названия мета-класса среди рабочих ...

Итак, исправление или какая-либо ссылка будет высоко ценится 

def mixin_factory(name, base, mixin):
    class _tmp(base, mixin):
        pass
    _tmp.__name__ = name
    return _tmp

def Mix_map_function(dataframe) :
    MixClass = mixin_factory("MixClass", Class_A, Class_B)
    MixClass( .... , dataframe ) # class initialization parameters using constructor

PiplinedRDD.map(lambda x: Mix_map_function(x[0]) , preservesPartitioning=True )  
# x[0] some partitioned data from rdd
...