У меня есть задание Spark Streaming, которое считывает данные из разделов kafka ( один исполнитель...
Я новичок в потоковой передаче искры, и у меня есть общий вопрос, касающийся его использования.В...
Я запускаю этот кусок кода.StreamingInputDF - это readStream по теме Kafka.Я использую spark 2.4.0...
У меня проблема с разработкой эффективного конвейера Spark для варианта использования ETL.Это...
Я получаю потоковую передачу данных и обрабатываю их.Я настроил свой logstash.conf файл. Я запустил...
Я использую Kafka для потоковой передачи файла JSON, отправляя каждую строку в виде сообщения.Один...
Я работаю над простым скриптом Python для потоковой передачи сообщений от Kafka с использованием...
Есть ли ограничение для Spark Event Time Streaming на количество окон, которые вы можете держать...
Даже после многих попыток я не вижу ни сообщения ни на консоли, ни записанного в файл. Ниже моего...
1. Потоковые данные поступают из Кафки 2.Потребление через потоковую передачу с использованием...
У меня есть S3, где хранятся все файлы в разных форматах и с разных клиентов и поступают новые...
Я экспериментирую с Spark2.3 на кластере K8s. Хотите знать, как работает контрольно-пропускной...
Я использую спарку с помощью кафки, у меня есть тема с 20 разделами.Когда выполняется потоковое...
Я изучаю структурированную потоковую передачу с помощью блоков данных и борюсь с режимом консоли...
У меня есть тема Kafka, получающая 10K событий в минуту, и потребитель Spark Streaming 2.3 в scala,...
Я не могу запустить Кафку с искровым потоком. Ниже приведены шаги, которые я предпринял до сих пор:...
У меня есть длительная задача структурированного потокового вещания, использующая Кафку в качестве...
Я хочу читать файлы в формате hdf с помощью потокового воспроизведения. И я пишу такой код, как...
Мне интересно, можно ли запросить веб-службу API с помощью Spark Streaming. Я уже разработал...
В настоящее время, когда я читал документы flink, я обнаружил, что существует множество оконных...
Использование смещения хранилища KafkaUtils.createDirectStream в HDFS offsetRanges = [] def...
Я использовал Kafka Avro Producer для записи avro-данных в тему kafka, и теперь я хочу прочитать...
Поддерживает ли Spark Structured Streaming Kafka Writer запись данных в определенный раздел? В...
У нас недавно была проблема, когда некоторые из разделов Kafka были потеряны, и работа продолжалась...
Я разрабатываю приложение Scala Spark Streaming для получения данных от Kafka. Так как у меня были...