Функция Spark from_avro с поддержкой реестра схемы - PullRequest
Новая
       67

Функция Spark from_avro с поддержкой реестра схемы

1 голос
/ 25 апреля 2020

Я пытаюсь использовать повторное объединение схем с искрами from_avro в соответствии с этой do c.

У меня есть следующие импорта: 

"io.confluent" % "kafka-schema-registry-client" % "5.4.1",
"io.confluent" % "kafka-avro-serializer" % "5.4.1",
"org.apache.spark" %% "spark-avro" % "2.4.5",

Однако я вижу только доступную подпись метода ниже. 

import org.apache.spark.sql.avro._
from_avro(data: Column, jsonFormatSchema : String)

, а не ту, которую я ожидаю с поддержкой реестра схемы. 

from_avro($"value", "topic-value", schemaRegistryAddr)

Я что-то упустил? Я понял, что 2.4.5 является последней стабильной версией для spark-avro, но, похоже, он не поддерживает ту же сигнатуру, которая указана в документах databricks . Входные данные приветствуются.

1 Ответ

2 голосов
/ 25 апреля 2020

Ниже функция недоступна в spark 2.4.5 на данный момент. 

from_avro($"value", "topic-value", schemaRegistryAddr)

Она доступна только в среде Databricks или записной книжке Databricks.

...