Задание потоковой передачи Spark не выполнено, и при попытке поиска журналов с использованием yarn...

Я попытался создать восстанавливаемое искровое потоковое задание с некоторыми аргументами,...

Spark Streaming API предоставляет различные способы чтения данных.Некоторые примеры: Кафка, Flume,...

Я внедряю Spark Streaming Application, где приложение работает в режиме 24/7 для каждого входящего...

Я читаю сообщения от Кафки в приложении Spark Streaming. Продолжительность SparkBatch: 15 сек

Я читаю набор данных и схема печати .Это сработало.Когда я пытался найти число наборов , я получаю...

Мы потребляем данные из EventHub с использованием потоковой передачи.Входящий поток содержит JSON...

Исходные данные - это просто необработанный веб-журнал, агрегированный с использованием Flume и...

Spark Streaming Job считывает данные о событиях из тем Кафки, агрегирует на основе меток времени и...

Я пытаюсь использовать ноутбук Zeppelin с интерпретатором% livy.spark для Ignite.У меня есть...

Я пытаюсь назначить три ядра на исполнителя для приложения Spark, и иногда я получаю следующую...

У меня есть приложение Java 9 Spring, которое использует Apache Spark. По сути, я хочу добиться...

У меня есть задание потоковой передачи, которое считывает данные из нескольких тем Кафки.Теперь я...

У меня есть простой приемник, который генерирует фиктивные данные и используется в контексте...

Когда я устанавливаю коллекцию как широковещательные переменные, она всегда возвращает мне ошибку...

Я пытаюсь понять treeAggregate, но в сети недостаточно примеров. Так что следующий код объединяет...

Здравствуйте, я хочу создать итерационный алгоритм в потоковой передаче искры, в котором я...

Поток из Kafka смешивает схему, как показано ниже { "header":{...

Поскольку мы можем использовать изменяемый объект в качестве широковещательной переменной в spark,...

Я пытаюсь написать модульные тесты в Spark Streaming с DStreams.Вот мой тестовый пример. import org

Я запускаю свою программу потокового воспроизведения с mapWithState.Он принимает только 2 тыс....

У меня проблема при запуске примера mllib StreamingKMeansExample Центры кластеров одинаковы для...

Я получаю эту ошибку, когда пытаюсь записать данные в HDFS.Работа отлично работает, и я получаю эту...

С учетом следующих версий: twitter4j-core:4.0.4 spark-streaming-twitter_2.11:2.2.0 Я хотел бы знать...

У меня локально настроен спарк 2.2, и я работаю со scala Конфигурация сеанса спарка ниже val...