Существует код, написанный на Scala. Этот код является искровым способом реализации стабильного брака https://github.com/gaomy3832/spark-smti.
Я хочу использовать этот код в моем приложении spark, полностью написанном на python (pyspark). Так, пожалуйста, могу ли я использовать этот код в своем приложении?
Я где-то читал, что могу преобразовать код в .jar, а затем использовать его в своем коде через pyspark --driver-class-path myjar.jar.
Это не сложно. НО, если я это делаю, распределенный код стабильного брака все еще работает распределенным образом или просто будет выполнен в драйвере?