У меня есть приложение pyspark, которое должно десериализовать слитые сообщения kafka avro в...

Я использую структурированную потоковую обработку Spark (используйте SSS в качестве сокращения...

Я сталкиваюсь с тем, что на первый взгляд новичку Spark Streaming кажется нелогичным: когда Spark...

Я использую искру 2.3. Я отслеживаю каталог для файлов, используя pyspark с кодом ниже....

Мы запускаем процесс структурированной потоковой передачи с помощью spark 2.4.2, который считывает...

Я новичок в потоковой передаче kafka-spark и пытаюсь реализовать примеры из документации spark с...

Я новичок в Spark structured streaming, и меня неправильно поняли. Я хочу реализовать...

Я переключаю приложение с потоковой передачи на структурированную. Это приложение для чтения логов...

Я пытаюсь установить соединение сasticsearch из моей программы spark.Мой узелasticsearch - https и...

У нас есть пакетные конвейеры, записывающие файлы (в основном csv) в корзину s3.Некоторые из этих...

У меня проблема с определением структуры документа json. Теперь я пытаюсь сделать ту же схему на...

Мой ввод был kafka-потоком только с одним значением, разделенным запятыми. Похоже на это....

Можно ли отправить объект Java в качестве значения в теме Kafka и как мне использовать его в spark?...

У меня есть приложение структурированного потокового вещания, которое читает сообщения от Кафки....

В книге «Потоковая передача Spark с Apache Spark» авторы упоминают, что поле «failOnDataLoss...

Я работаю с spark 2.4.0 и python 3.6.Я занимаюсь разработкой программы на python со...

Я работаю над Databricks, платформой обработки данных на основе Spark с HDFS-подобной файловой...

Мы хотим использовать структурированную потоковую передачу Spark для обработки данных, которые...

Я пишу код на основе водяных знаков в структурированном потоке в Pyspark. Все работает нормально,...

Я работаю над набором данных CSV и обрабатываю их с помощью потоковой передачи. Я могу применить...

Я использую Spark 2.4.2 на GCP DataProc и применяю агрегирование с сохранением состояния для...

У меня есть поток данных, поступающих от устройств IoT, которые имеют идентификатор (uuid) и...

Когда я делаю ниже, он работает нормально company_info_df.select(col("value"))

Мне нужно решить проблему.У меня есть производитель kafka, который производит сообщения (xmls) на...

Итак, в принципе, позволяет ли потоковая передача с искрой (или даже потоковая передача с искровой...