Использование нестандартных искровых трансформаторов в pyspark

Question

Как я могу использовать собственный преобразователь, написанный в scala, в конвейере pyspark.

class UpperTransformer(override val uid: String)
    extends UnaryTransformer[String, String, UpperTransformer] {

  def this() = this(Identifiable.randomUID("upper"))

  override protected def validateInputType(inputType: DataType): Unit = {
    require(inputType == StringType)
  }

  protected def createTransformFunc: String => String = {
    _.toUpperCase
  }

  protected def outputDataType: DataType = StringType
}

Используйте этот преобразователь в конвейере pyspark.