В python spark я хочу знать, возможно ли настроить моего собственного потребителя kafka с потоковой передачей искры.
Пока я вижу что-то подобное
directKafkaStream = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers})
Что я хочу знать, возможно ли использовать потоковый контекст вместе с моим собственным потребителем, который я получаю откуда-то еще, например,
consumer = Consumer([topic], {"metadata.broker.list": brokers}) # Kafka Consumer
stream = streaming_context.addStreamingListener(Consumer) # Set up spark streaming with my Kafka Consumer
Причина, по которой я спрашиваю об этом, заключается в том, что мне нужно выполнить некоторые дополнительные настройки на стороне потребителя, которые я не считаю возможными с creatDirectStream