Добавление обратных вызовов в Spark DataFrame производителя Kafka

Question

Я пытаюсь добавить данные в кафку из моего кода искры.Можно ли как-нибудь добавить обратные вызовы к этим вызовам?

Я пробовал spark-kafka-0-10-writer_2.11, но не увидел поддержку spark2.4

df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
      .write
      .format("kafka")
      .option("kafka.bootstrap.servers", kafkaBootStrapServer)
      .option("topic", topic)
      .save()