Spark структурированный поток с аутентификацией Kafka SASL / PLAIN - PullRequest
Новая
       52

Spark структурированный поток с аутентификацией Kafka SASL / PLAIN

2 голосов
/ 28 апреля 2020

Есть ли способ подключить задание структурированной потоковой передачи Spark к кластеру Kafka, который защищен аутентификацией SASL / PLAIN?

Я думал о чем-то похожем на: 

val df2 = spark.read.format("kafka")
    .option("kafka.bootstrap.servers", "localhost:9092")
    .option("kafka.sasl.mechanism", "PLAIN")
    .option("kafka.security.protocol", "SASL_PLAINTEXT")
    .option("kafka.sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=...")
    .option("subscribe", "topic1")
    .load();

Кажется, что пока Spark Structured Streaming распознает параметр kafka.bootstrap.servers, он не распознает другие параметры, связанные с SASL. Есть ли другой способ?

...