В настоящее время я работаю над приложением Pyspark для вывода ежедневных дельта-экстрактов в виде...

Я пытаюсь запустить искровое задание, написанное на Java, в кластере Spark для загрузки записей в...

Я пытаюсь прочитать записи из темы Kafka, используя приведенный ниже фрагмент кода: ds_raw = (spark...

Я делаю курс по Spark, и я немного запутался. Итак, есть код ниже. Я понимаю, что строка 1 создает...

Другая команда создает файл партера на S3 с помощью apache-spark, и они утверждают, что файл...

У меня есть многомодульный проект Gradle. Один модуль (A) содержит классы, связанные с базой...

У меня немного странная проблема. Когда я запускаю эту команду в терминале, она работает и...

Я пытаюсь написать несколько тестов для написанного мною задания Spark и сталкиваюсь с ошибкой,...

У меня есть таблица, в которой department и value теперь доступны, если мы будем использовать...

Требование: У нас есть требование включить Spark Thrift Server с высокой доступностью, поскольку у...

Я пытаюсь понять, почему у меня нет одного и того же результата при подсчете количества между этими...

У нас есть большой (искровой) фрейм данных, и нам нужно вычислить новый столбец. Каждая строка...

У меня есть следующий фрейм данных +--------------------+ | values | +--------------------+ |[[1,1...

Я работаю над программой искры, которая по сути пытается объединить следующие две таблицы: Table1...

Я получаю данные из местоположения BLOB-объекта в кадре данных, как показано ниже. | NUM_ID| Event|...

Я создаю искровое приложение, как показано ниже. При запуске в режиме локального клиента все идет...

Я развертываю пакетное задание на зажигание в Kubernetes на GKE. Job пытается получить некоторые...

Я учу Кафку в Скале. Прикрепленный код является просто реализацией подсчета слов с использованием...

У меня есть кластер Spark Standalone с 4 узлами, каждый из которых имеет 56 ядер , когда я запускаю...

До того, как я начну, я знаю, что Spark / Hive не предназначены для операций в стиле CRUD, однако .

Мне нужно периодически обрабатывать большие партии предметов в Spark. Элементы разделены ключом...

У меня есть задание Spark, которое внутренне объединяет большую таблицу Hive (5 млрд строк, 400 МБ...

Я застрял с ошибкой org.apache.spark.sql.hive.HiveSessionState, когда пытался прочитать csv-файл с...

Я создаю интерфейс для запуска искровых заданий и проверки статуса заданий. Я не могу использовать...

У меня есть spark 1.6.3, Scala 2.10.5 и Kafka 1.0.0, возможно ли использовать Kafka 1.0.0 с Scala 2