У меня есть приложение Spark Streaming (Scala), работающее на CDH 5.13, использующее сообщения от...

Я установил kafka и zookeeper в системе Windows.я запустил серверы kafka и zookeeper, создал тему...

Я хочу настроить, войдя в Spark, подайте заявку.Я прочитал несколько примеров, используя log4j.В...

Я получаю эту ошибку в журналах пряжи для моей работы Spark Streaming.Любой совет о том, как его...

Я использую потоковую передачу Spark, и данные отправляются в Kafka.Я отправляю карту Кафке

Я получаю неравномерный размер тем Кафки.Мы хотим перераспределить входной RDD на основе некоторой...

моя версия для потокового воспроизведения - 2.0, версия для kafka - 0.10.0.1,...

Моя цель - извлечь данные из Kafka с помощью Spark Streaming, преобразовать данные и сохранить их в...

Я немного новичок в Scala и Spark, поэтому не стесняйтесь судить меня, но не слишком сложно. Я...

В моем сценарии у меня есть несколько наборов данных, которые приходят время от времени, и которые...

Прежде всего, я некоторое время искал эту проблему, и я вижу, что существуют другие решения по...

Как я могу анализировать данные XML в потоковой передаче Storm и Spark?Например, в Spark Streaming;...

При запуске My spark Kafka Direct Stream будут использоваться только те сообщения, которые были...

Согласно документации аккумуляторов: Обратите внимание, что задачи на рабочих узлах не могут...

Я использую потоковую трансляцию в java. Я настроил sparkconfig obj как SparkConf sparkConf = new...

Я использую потоковую искру и читаю потоки из Кафки.Прочитав этот поток, я добавляю его на карту...

Я использую официальную конфигурацию flume + spark, как указано в документации, но после...

У меня есть потоковое приложение Spark, написанное на Scala, работающее на CDH. Приложение читает...

Мое приложение структурированной потоковой передачи пишет в паркет, и я хочу избавиться от...

Я использую Stream Streaming (2.1) для отправки некоторых данных в kafka (некоторые версии 0.10,...

Я хочу создать rdd из python-kafka в моем потоковом приложении. Мой код: from pyspark import...

Я новичок в Spark. У меня есть файл pcap. Как Spark может прочитать этот файл, используя python?...

Я хочу получить данные от kafka, открываю spark-shell и, используя spark-streaming для получения...

У меня есть проблема со Spark Scala, которую я хочу умножить в элементах Tuple при потоковой...

В настоящее время я создаю агрегатор необработанных данных журнала, используя Spark Structured...