Ошибка при создании собственного производителя в Scala - PullRequest
Новая
       1

Ошибка при создании собственного производителя в Scala

0 голосов
/ 28 марта 2019

Я написал небольшой код для нестандартного производителя в Kafka, используя scala, и он выдает ошибку ниже.Я приложил код в разделе кода.Я приложил некоторый код для справки. 

Name: Compile Error
Message: <console>:61: error: not found: type KafkaProducer
               val producer = new KafkaProducer[String, String](props)
                                  ^

Я думаю, что мне нужно импортировать соответствующий пакет.Я попытался импортировать пакеты, но не смог получить правильный. 

val producer = new KafkaProducer[String, String](props)

for( i <- 1 to 10) {
//producer.send(new ProducerRecord[String, String]("jin", "test", 
"test"));
val record = new ProducerRecord("jin", "key", "the end ")
producer.send(record)

Ответы [ 2 ]

0 голосов
/ 02 апреля 2019

@ Артур, Волшебная команда %% configure -f не работает в ноутбуке jupyter. Я попытался загрузить весь ноутбук из Git, но это также не работает. К счастью, я был прочитав документацию apache toree для добавления зависимостей и нашел команду %% addDeps. После помещения зависимостей в следующем формате в блокнот jupyter, Мне удалось запустить код.

% AddDeps org.apache.kafka kafka-clients 1.0.0

% AddDeps org.apache.spark spark-core_2.11 2.3.0

Просто для информации других, когда мы компилируем код с использованием SBT, нам нужно закомментировать этот код из блокнота jupyter, так как мы добавим его в файл build.sbt.

Спасибо Артуру за указание направления!

0 голосов
/ 28 марта 2019

Я не могу сейчас установить ядро ​​scala для jupyter, но на основе этого github вы должны добавить Kafka в качестве зависимости, тогда библиотека может быть распознана 

%%configure -f
{
    "conf": {
        "spark.jars.packages": "org.apache.spark:spark-streaming_2.11:2.1.0,org.apache.bahir:spark-streaming-twitter_2.11:2.1.0,org.apache.spark:spark-streaming-kafka-0-8_2.10:2.1.0,com.google.code.gson:gson:2.4",
        "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.11"
    }
}

Если это не сработает, попробуйте загрузить весь блокнот из git и запустить его самостоятельно, чтобы узнать, нужно ли что-то еще

...