У меня есть папка на HDFS, как показано ниже, с файлами ORC: /path/to/my_folder Она содержит...

Я устанавливаю потоковую передачу с искрой, где данные будут считываться из корзины S3, и будет...

Водяной знак позволяет учитывать данные, поступающие с опозданием, для включения в уже вычисленные...

Я пытаюсь преобразовать все столбцы моего информационного кадра в отдельные массивы. Поддерживается...

У меня есть код структурированного потокового скала, написанный для запуска в пакетном режиме.Я...

Я пытаюсь читать данные из Кафки, используя структурированную потоковую передачу.Данные, полученные...

В настоящее время я читаю из каталога, который будет принимать файлы до конца дня, а новые файлы...

Рассмотрим следующее предназначено sql: select row_number() over (partition by Origin order by...

Документация для структурированной потоковой передачи Spark гласит, что - начиная с версии 2.3 все...

У меня есть проект под управлением Spark 2.2.1 Структурированная потоковая передача, с вычислением...

Я реализовал Spark Structured Streaming, и для моего случая использования я должен указать...

Я пытаюсь использовать приемник foreach при записи моего кадра данных в таблицу кустов: // dp is my...

при отображении результатов сортировки в консоли результаты отображаются в порядке сортировки, как...

Я пытаюсь найти размер информационного кадра в заданиях потоковой передачи в каждой партии. Я могу...

Я хотел бы знать, готова ли структурированная потоковая передача к производству на HDP 2.6.4. Я...

Я пытаюсь создать SparkConsumer, чтобы в этом случае я мог отправлять сообщения в формате csv на...

Мне нужно выполнить обработку строк данных с сохранением состояния.Для этого мне нужно создать...

У меня есть один CSV-файл в папке, который постоянно обновляется.Мне нужно взять входные данные из...

Я использую Spark Structured Streaming с Spark 2.3.1 и ниже мой код: val sparkSession =...

Я использую водяной знак для объединения двух потоков, как вы можете видеть ниже: val order_wm =...

Я использую Spark Structured Streaming и объединяю два потока из тем Kafka. Я заметил, что...

Я реализую потоковое потоковое приложение, которое обрабатывает файлы журналов веб-сервера из папки...

Я пытаюсь создать отсортированную коллекцию в состоянии моих групп и получаю ошибку от катализатора...

С помощью Spark DStreams я могу указать длину скользящего окна следующим образом: val...

В отличие от предварительных версий искры, таких как предыдущая потоковая передача искры, в...