Я пытаюсь вставить в таблицу данных улья класс DataStreamWriter в формате hive. rdf.writeStream

Мои настройки: scala:2.11.8 spark:2.3.0.cloudera4 Я уже добавил это в мой .pom файл:...

Я пытаюсь перенести мое текущее потоковое приложение, основанное на использовании RDD (из их...

Я записываю потоковые данные в файлы паркета, используя spark.И я создал внешнюю таблицу улья,...

Я использую Spark 2.4 для объединения двух потоков.Проблема в том, что результат пуст. Я загружаю...

Возможно ли объединить два структурированных потока Spark в Spark 2.2.1?Я обнаружил много проблем с...

У меня есть структурированная потоковая передача Spark, которая читает события пользовательского...

Я пишу программу Spark Structured Streaming.Мне нужно создать дополнительный столбец с разницей в...

У меня потоковое задание выполняется с использованием SBT. всякий раз, когда я делаю "sbt run", я...

В структурированной потоковой передаче Spark, когда входящая запись из S3 не совпадает со схемой,...

1. Потоковые данные поступают из Кафки 2.Потребление через потоковую передачу с использованием...

У меня есть Elasticsearch 6.4.2 и Spark 2.2.0 В настоящее время у меня есть рабочий пример , где я...

У меня есть длительная задача структурированного потокового вещания, использующая Кафку в качестве...

Я хочу читать вложенные данные из источника тем Kafka, используя Spark Structured Streaming. Мой...

В настоящее время, когда я читал документы flink, я обнаружил, что существует множество оконных...

Я пытаюсь записать набор данных Spark Structured Streaming (2.3) в ScyllaDB (Cassandra). Мой код...

У меня есть Static DataFrame с миллионами строк следующим образом. Static DataFrame: --------------...

У меня есть таблица HBase, которая выглядит следующим образом в статическом Dataframe как...

Безопасно ли использовать Kafka и Spark Structured Streaming (SSS) (> = v2.2) с контрольными...

У нас есть некоторые исторические данные, поставленные в очередь по нашим темам, мы не хотим...

В документации по https://spark.apache.org/docs/latest/structured-streaming-programming-guide

Я только что заметил, что мой Spark на YARN все работает на локальном компьютере, его рабочий...

Мы обновили нашу версию kafka до 2.0 с 0.9 Нужна помощь в поиске подходящей клиентской библиотеки...

Как я могу вычислить агрегации в окне от датчика, когда новые события отправляются, только если...

Мы потребляем данные из EventHub с использованием потоковой передачи.Входящий поток содержит JSON...