Кафка Spark Stream сохранить непосредственно в Redis - PullRequest
0 голосов
/ 18 мая 2018

Я использую Scala для получения kafkaStream и хочу вставить эти данные непосредственно в Redis.Какова оптимальная оптимальная стратегия для этого?

val kafkaStream = KafkaUtils.createStream(ssc, "192.168.0.40:2181", "group", topics, StorageLevel.MEMORY_AND_DISK)

Раньше я пытался использовать https://github.com/debasishg/scala-redis, но это не работает со Spark, поэтому мне пришлось собрать RDD и затем сохранить записьв Redis, который создает много накладных расходов в моем проекте.Поэтому я ищу какое-то решение, в котором я могу напрямую отправить эту строку сообщений в Redis, а также хочу поддерживать ZScore.

Спасибо,

...