Проверка схемы в структурированном потоке

Question

У меня есть тема на Кафке, которую я потребляю, и я использую from_json для преобразования сообщения JSON в кадр данных, и я использую структурированную потоковую передачу.

val agentStringDF = spark
      .readStream
      .format("kafka")
      .option("subscribe", "testTopic")
      .option("startingOffsets" , "latest")
      .load()

val df = agentStringDF.select(from_json(col("value").cast("string"), testTopicSchema).alias("testTopic"))

Есть ли способсделать какой-либо тип с from_json, чтобы в случае сбоя регистрировать ошибку и переходить к следующему микропакету?

Я видел случаи проверки схемы после ее преобразования ... но ничего не проверялосьв этом случае.