Как установить разные темы по разному размеру пакета в одном приложении при использовании потоковой передачи - PullRequest
Новая
       1

Как установить разные темы по разному размеру пакета в одном приложении при использовании потоковой передачи

0 голосов
/ 23 апреля 2019

Я хочу использовать 2 темы в одном и том же приложении для потокового воспроизведения, разделение этих 2 тем одинаково, но я хочу получить данные о максимальном размере в пакете, и я уже установил параметр "spark.streaming.kafka".maxRatePerPartition "до 1000, если раздел темы равен 10. Как извлечь 10000 записей из темы A и 100000 записей из темы B в одном пакете?

val aStream = new ClickParseStream(ssc, spark, "topicA", STREAMING_BATCH_SECONDS)
val bStream = new ClickParseStream(ssc, spark, "topicB", STREAMING_BATCH_SECONDS)
val unionStream = aStream.union(bStream)
...