Почему kafkaUtils.createStream () выдает мне ошибки?

Question

Я новичок в pyspark и пытаюсь подключить Spark к Apache Kafka.Я использую этот код ниже, чтобы подключиться, но я получаю ошибку.Я прошу кого-то сказать мне, что я делаю неправильно.

import sys
from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
from uuid import uuid1

if __name__ == "__main__":
    sc = SparkContext(appName="PythonStreaming")
    ssc = StreamingContext(sc, 2) # 2 second window
    kvs = KafkaUtils.createStream(ssc, \
                                  "localhost:9092", \
                                  "test",\
                                  {test:1})
    ssc.start()
    ssc.awaitTermination()

Я получаю эту ошибку

NameError: имя 'test' не определено

а test действительно название моей темы.

Answer 1

Просто попробуйте отобразить список тем с помощью следующей команды и убедитесь, что тема доступна.

bin/kafka-topics.sh --list --zookeeper localhost:2181