Я звоню в класс scala из pyspark кода. Как передать SparkContext в Scala Начальный класс?
Вы можете проверить ниже. Ссылка содержит передачу объекта SQLContext в параметризованный класс Scala. Таким же образом я хочу передать SparkContext в scala параметризованный класс.
Как использовать класс Scala внутри Pyspark
Код класса Scala:
class Item(val sc: SparkContext) {
def process = println("This process will call")
}
Код вызова класса Python:
simpleObject = sc._jvm.package_name.Item(**NEED TO PASS SPARKCONTEXT OBJECT HERE**)
simpleObject.process()
Итак, как передать SparkContext в Item класс.
Заранее спасибо.