Я использую интеграцию Kafka + Spark, где я отправляю объект класса дела (веб-сайт) и карту в искру
Я хотел бы знать, когда использовать раздвижные окна и опрокидывающиеся окна. Также было бы неплохо...
Я настроил небольшой тест на своем ноутбуке, который выполняет следующее: Я создал тему Kafka с...
Я читаю данные из kafka, выполняю некоторые агрегаты и сохраняю их в формате hdf. Я хочу объединить...
Я застрял в одной проблеме и сейчас пытаюсь найти решение. Эта проблема связана с сохранением...
Я новичок в обработке структурированной потоковой передачи Spark и в настоящее время работаю над...
У меня есть * n количество полей (например, 200-300), все поля Тип структуры я хочу только как...
Я пытаюсь читать данные из Кафки, используя структурированную потоковую передачу. Данные,...
Я пытался вернуть требуемый параметр в DataSet. Всякий раз, когда я возвращаю данные в строку, я не...
Я работаю над структурированной потоковой передачей искр с существующим многоуровневым...
Мы используем Spark Structured Streaming (2.4.4) для чтения из Kafka и записи файлов паркета в S3....
Я использую Spark 2.4.3. Данные о позднем прибытии не были отклонены. Я использую структурированную...