Я пытаюсь создать и применить объект Spark ml_pipeline, который может обрабатывать внешний параметр...

У меня есть фрейм данных, в котором мне нужно сравнить несколько значений и вывести некоторые из...

Я пытаюсь запустить спарк с подключением Hive JDBC и получаю исключение нулевого указателя.Та же...

Я новичок в искре. Я пишу код pyspark, где у меня есть два кадра данных, таких как: DATAFRAME-1:...

Я использую onStageCompleted из SparkListener, пытаясь извлечь некоторые полезные данные из...

Я пытаюсь улучшить производительность моего приложения Spark. С этой целью я пытаюсь определить...

У меня есть установка искрового кластера на докере.используя openjdk: 8-alpine.Я бегу по местному....

Я использую версию Atlas 1.0, а версию spark 2.3.1. Версия HDP 3.0 . Я выполнил все шаги в...

Я использовал show partitions в spark sql, что дает мне следующее: year=2019/month=1/day=21...

Я запускаю простой проект Spark в кластере EMR YARN, чтобы: прочитать текстовый файл на S3 в...

Всякий раз, когда приложение Stream Streaming пытается передать смещение Кафке, оно становится...

В EMR 5.21.0 с Spark 2.4.0 и AWS Glue в качестве мета-хранилища я не могу создать таблицу с...

У меня есть данные с ненужными пробелами и значениями Null в моем CSV-файле.Я загрузил этот файл в...

У меня есть DataFrame со столбцом id.Я хотел бы сделать некоторые вычисления для строк для каждого...

Я пытаюсь следовать этому примеру, чтобы разбить строки hbase: https://www.opencore

Я работаю над экспериментом, который оценивает производительность выполнения разных запросов...

Я пытаюсь запустить проект, который получает твиты с помощью Apache Kafka, обрабатывает их с...

Мне нужно разбить следующее на несколько токенов в кадре данных Spark Scala. Я не использовал...

Я выполняю агрегацию в кадре данных для расчета процента. Мне нужно хранить сумму каждого столбца в...

У меня есть целый мир данных некоторого варианта использования.Каждая страна содержит от 3 до 5...

Предположим, у нас есть 10 узлов, каждый из которых имеет 2 ядра. Мы устанавливаем для...

У меня есть керберизованный кластер, и я хочу запускать программы Spark как «пользователь ОС»,...

Тест Spark ./build/mvn не выполнен в среде aarch64 Я попытался использовать Spark Master и 2.4, все...

У меня есть программа подсчета слов в Eclipse с использованием Maven и Scala.После экспорта файла...

Я хочу сгруппировать набор данных временных рядов по отметке времени, где каждая строка в данной...