Spark Straming и подписка на несколько тем - PullRequest
Новая
       17

Spark Straming и подписка на несколько тем

0 голосов
/ 15 апреля 2019

У меня есть две базы данных postgres, подключенные к kafka с помощью jdbc-коннектора, поэтому у меня есть две темы, доступные для моего приложения Streams.

Я читаю темы с: 

KafkaUtils.createDirectStream(
        ssc,
        LocationStrategies.PreferConsistent(),
        ConsumerStrategies.Subscribe(topics, kafkaParams));

где мой topics = new ArrayList<>();

связывается со списком названий тем.

Я также добавляю в свою конфигурацию свечи этот ключ:

"spark.streaming.concurrentJobs", "2")

Все, похоже, наработает хорошо, но я вижу, что приложение прочитано из одной темы, затем прикреплено ко второй и перестает работать без ошибок.

Если я использую одну тему, все работает отлично.

Может кто-нибудь мне помочьпожалуйста

...