Я пытаюсь запустить задание Spark Structured Streaming и сохранить контрольную точку в Google...
У меня проблема с обновлением окна в Spark Structed Streaming.Я хочу сгруппировать данные, которые...
Я делаю потоковую передачу с помощью nc -lk 9999, и DS-потоки сохраняются в разных папках и разных...
Мне нужно записать поток из веб-сокета в файл паркета, используя apache spark. Похоже, что текущая...
Я пытаюсь понять внутреннюю часть потоковой передачи Spark (не структурированной потоковой...
Я читал этот пост, https://nycdatascience.com/blog/student-works/yelp-recommender-part-2/, и...
У меня есть потоковая потребительская программа, в которой я читаю тему и хочу сохранить ее в своей...
Мой источник данных - Кафка, и я читаю данные из Кафки следующим образом: var df = spark
Приложение работает на IntelliJ с локальным режимом Spark. В цикле, когда тема Consumer from Kafka...
При чтении и экспериментировании может показаться, что операции в масштабе данных, такие как...
Я запускаю структурированную потоковую передачу на Spark 2.3 на Cloudera с Kerberized Confluent...
Учитывая данные, которые я извлек из Kafka. Как извлечь из него значения с помощью сопоставления с...
Я выполняю некоторые преобразования в кадре потоковых данных с искровой структурой.Я храню...
Я разработал приложение Spark Streaming, которое работает на 120-секундных микропакетах, по сути,...
Я использую SparkStreaming для чтения данных из темы. Я сталкиваюсь с исключением в этом. java.io
Я пытаюсь зафиксировать смещения из задания потоковой передачи Spark в Kafka, используя следующее:...
Я хочу использовать 2 темы в одном и том же приложении для потокового воспроизведения, разделение...
во время выполнения получения кода kafka 1) ОШИБКА StreamExecution: Запрос [id =...
Фильтр Kafka из нескольких тем по темам. kafka_stream = KafkaUtils.createStream(ssc,...
Получаю приведенную ниже ошибку при потоковой передаче искры.Это работает отлично в течение...
Я отправил postgres wallog на kafka, каждая таблица - тема.Схемы тем похожи на следующие (вложенный...
Spark (v2.4) Функция программы: Чтение данных JSON из Kafka очереди в режиме структурированной...
Я отправляю файл на потоковое воспроизведение с использованием kafka и spark.Искра является...
Приложение слушает 2 темы кафки userevent paymentevent Полезная нагрузка для использованияrevent...
Я пытаюсь прочитать данные из kafka и загрузить их в базу данных greenplum с помощью spark. я...