Я пытаюсь перевести реализацию Spark в Pyspark, которая обсуждается в этом блоге: https://dorianbg

Я должен обработать некоторые файлы, которые приходят ко мне ежедневно.Информация имеет первичный...

У меня есть структурированное потоковое задание для блоков данных Azure, которое записывает данные...

Я пытаюсь написать потребителя Kafka (из protobuf), используя структурированную потоковую передачу

Я хотел бы получить данные за 1 день из концентратора событий Azure, применить логику и скопировать...

Учитывая DataStreamReader, настроенный для подписки на несколько тем, подобных этой (см. здесь ):...

У меня есть статический Dataframe (CSV-файл) и тема KAFKA (скажем, Topic1) в качестве входных...

Я вставляю в таблицу Cassandra типичные записи строк записи Kafka, получая из-за искровой потоковой...

У меня есть сценарий использования, в котором я использую данные из Кафки с использованием...

У меня есть сценарий использования, в котором я должен подписаться на несколько тем в kafka в...

Я настроил Spark Structured Streaming (Spark 2.3.2) для чтения из Kafka (2.0.0). Я не могу...

Я читаю данные из Кафки в Spark Structured Streaming 2.3.0.Данные содержат информацию о некоторых...

У меня есть приложение Spark Structured Streaming, которое принимает сообщения из нескольких тем...

Среда: Spark 2.3.0, Scala 2.11.12, Kafka (Какая бы ни была последняя версия) У меня есть безопасная...

В моей программе spark у меня есть этот код: val df = spark.readStream .format("kafka")

Я пытаюсь создать структурированную потоковую передачу SQL от брокера MQTT: test = spark.readStream

Исполнитель Spark Structured Streaming завершается с ошибкой OutOfMemoryError Проверка выделения...

У меня есть потоковый запрос, сохраняющий данные в fileink. Я использую .option («стартовый набор»,...

Я запускаю задание структурированной потоковой передачи в приемник MongoDB, и я сталкиваюсь с...

У меня есть нормальная карта скала в Redis (ключ и значение). Теперь я хочу прочитать эту карту в...

Я не знаю, задаю ли я себе неправильное решение моей проблемы. Идея состоит в том, что я должен...

Я использую Spark Dstream для извлечения и обработки данных из Google PubSub. Я ищу способ перехода...

Я впервые использую pyspark. Версия Spark: 2.3.0 Версия Kafka: 2.2.0 У меня есть производитель...

У меня есть приложение структурированного потокового вещания Spark (v2.3.2), которое нуждается в...

Я выполняю некоторые преобразования в кадре потоковых данных с искровой структурой.Я храню...