Уже 6 часов я перестал запускать задание Spark Streaming, которое использует тему Kafka, но я все...

Я использую Kafka с потоковой передачей Spark.Я не переопределил max.poll.records со значением по...

Я пытаюсь создать фрейм данных из RDD, чтобы иметь возможность записи в json со следующим форматом...

Я хочу зациклить n раз, где n является аккумулятором по одному и тому же rdd скажем, n = 10,...

В последние часы я пытался преобразовать файл JSON в Scala case class с помощью Apache Spark. JSON...

У меня возникла проблема при написании потока на тему из Spark. import org.apache.spark.sql.types._...

Я получаю исходный файл .txt фиксированной ширины, из которого мне нужно извлечь столбцы размером...

Что такое кластер Spark, эквивалентный локальному [N] автономному.Я имею в виду, значение, которое...

Я использую intellij, чтобы написать искровой код. И я хочу получить доступ к файлам, хранящимся в...

Я создал модели ML и сохранил их в MariaDB как сериализованный объект с Kyro и Spark в App1 .А...

У меня есть кластер Docker Swarm. В этом кластере у нас есть контейнеры spark (1 master и 1 worker)...

Я получаю поток данных в форме: +--+---------+---+----+ |id|timestamp|val|xxx |...

Я использую spark и scala, выбираю данные из таблицы с именем persons из улья, в таблице есть...

Мы постоянно наблюдаем это поведение с помощью интерактивных заданий зажигания в Sparklyr или...

Я хочу получить данные от kafka, открываю spark-shell и, используя spark-streaming для получения...

Я новичок в Spark, читая о Dataframe, я очень часто находил ниже два утверждения для dataframe- 1)...

У меня есть небольшой паркетный файл (7,67 МБ) в HDFS, сжатый с помощью Snappy. Файл имеет 1300...

Как мне написать этот запрос в sparksql? SELECT TOP 1 1 FROM TABLE WHERE COLUMN = '123'...

У меня есть этот XML-файл, расположенный в S3, который мне нужно было бы загружать в...

У меня есть проблема со Spark Scala, которую я хочу умножить в элементах Tuple при потоковой...

Я обучил модель xgboost в Spark Scala следующим образом: val xgbParamGrid = new ParamGridBuilder()

Я пытаюсь отправить задание на пряжу в другой кластер с помощью марафона с помощью контейнера...

Вот код, который использует Spark ML для поиска кластеров: val dfRaw = spark.read

У меня работает кластер Amazon EMR.Если я сделаю ls -l /usr/share/aws/redshift/jdbc/ , это даст мне...

Мое решение ADLA переводится на Spark.Я пытаюсь найти правильную замену для выражения U-SQL REDUCE ...