Функция to_avro для реестра схем не найдена в spark-avro

Question

Я пытаюсь записать в приемник kafka, используя эту документацию: https://docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example -with-schema-registry

Однако я не могу найти функцию to_avro с более чем один параметр в спарк-авро (https://mvnrepository.com/artifact/org.apache.spark/spark-avro_2.11). Кто-нибудь знает, был ли он перемещен / переименован или мне следует использовать другую библиотеку? Спасибо!

Answer 1

В spark 3.0 эти функции были перемещены в org.apache.spark.sql.avro.functions.scala объект

проверьте это - spark-repo jira- SPARK-26870

Также блоки данных делают c, на которые вы ссылаетесь, основаны на spark 3