Я читал этот пост, https://nycdatascience.com/blog/student-works/yelp-recommender-part-2/, и следовал в основном всему, что они показали.Однако после прочтения этого поста Структурированная потоковая передача Spark 2.1 - Использование Kakfa в качестве источника с Python (pyspark) , когда я запускаю
SPARK_HOME/bin/spark-submit read_stream_spark.py --master local[4] --jars spark-sql-kafka-0.10_2.11-2.1.0.jar
, я все еще получаю сообщение об ошибке «Не удалось найти»источник данных: кафка.
Я тоже это прочитал.https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html. Официальный документ запрашивает два хоста и два порта, пока я использую только один.Должен ли я указать другой хост и порт, кроме облачного сервера и порта kafka?Спасибо.
Не могли бы вы дать мне знать, что мне не хватает.Или мне не следовало запускать скрипт в одиночку?