Я сталкиваюсь с тем, что на первый взгляд новичку Spark Streaming кажется нелогичным: когда Spark...

Я использую Spark 2.0.2 (в DSE / DataStaX Enterprise Edition 5.1) для запуска какого-либо...

Я использую потоковую передачу искры и хочу сохранить каждую партию потоковой передачи искры в...

Я настроил Spark Structured Streaming (Spark 2.3.2) для чтения из Kafka (2.0.0). Я не могу...

В книге «Потоковая передача Spark с Apache Spark» авторы упоминают, что поле «failOnDataLoss...

Простое потоковое приложение Spark без каких-либо значительных вычислений в памяти потребляет 17 ГБ...

Итак, в принципе, позволяет ли потоковая передача с искрой (или даже потоковая передача с искровой...

Я использую структурированную потоковую передачу для чтения csvs и записи в kafka. Вкладка...

Я пытался выполнять потоковую передачу и пакетирование из одной и той же дельта-таблицы, но...

Я подготовил код pyspark для чтения данных из AWS Kinesis во время потоковой передачи искры.Код...

Spark Structured Streaming записал результаты в kafka, но я не смог найти данные в теме Kafka,...

Я пытаюсь проверить предсказание модели машинного обучения с помощью потоковых данных на основе...

Я получаю данные в одной дельта-таблице и хочу, чтобы два потребителя обрабатывали ее: У меня в...

Я отправляю задания на спарк-кластер, используя livy API.Я хочу увеличить значение spark.network

Если есть искровой кластер с рабочими узлами, скажем, x GB памяти, и есть 5 таких рабочих узлов,...

У меня есть потоковое потоковое приложение, которое читает данные из kafka и записывает их в hdfs.Я...

Моя структурированная потоковая работа Spark непрерывно генерирует файлы паркета, которые я хочу...

Я попытался включить мониторинг с использованием асинхронного API, приведенного в документации -...

Время выполнения Режим кластера YARN Приложение Структурированная потоковая передача Spark Чтение...

Мой вариант использования 1. Считайте данные из Kafka, проанализируйте их и запишите в HDFS как...

У меня есть поток DataFrame в Databricks, и я хочу выполнить действие для каждого элемента. В сети...

Я пишу источник данных spark v2 в spark 2.3 и хочу поддерживать writeStream.Что я должен сделать...

У меня есть кластер Dataproc: master - 6cores |32 г рабочий {0-7} - 6 баллов |32g Максимальное...

Я работаю над проектом, который предполагает использование HDFS для хранения и Spark для вычислений

Мне нужно иметь два динамических совместно используемых кэша (в основном, типа hashmap) для...