Получение: Ошибка импорта модулей Spark: нет модуля с именем «pyspark.streaming.kafka»

Question

У меня есть требование к pu sh журналам, созданным из скрипта pyspark в kafka. Я делаю PO C, поэтому использую двоичные файлы Kafka в windows машине. Мои версии - Кафка - 2.4.0, Спарк - 3.0 и python - 3.8.1. Я использую редактор pycharm.

import sys
import logging
from datetime import datetime

try:
    from pyspark import SparkContext
    from pyspark.streaming import StreamingContext
    from pyspark.streaming.kafka import KafkaUtils

except ImportError as e:
    print("Error importing Spark Modules :", e)
    sys.exit(1)

Ошибка при получении

Ошибка импорта модулей Spark: нет модуля с именем 'pyspark.streaming.kafka'

Что мне здесь не хватает? Любая библиотека отсутствует? pyspark и spark streaming работают нормально. Я был бы признателен, если бы кто-то мог дать здесь некоторые указания.

Answer 1

Spark Streaming устарела начиная с Spark 2.4.

Вы должны использовать вместо этого структурированную потоковую передачу через pyspark.sql modules