Обратите внимание на мое специальное требование о передаче значения из задания Child Spark в...

Я хочу преобразовать строку в столбец с помощью искрового фрейма данных. Моя таблица выглядит так:...

Следующий код возвращает 16 разделов.Как это возможно иметь 16 разделов для массива 1 вещь? rdd =...

Есть ли надежный способ предсказать, какие операции с кадрами данных Spark сохранят разбиение, а...

из Spark RDD, я хочу подготовить и заархивировать данные JSON в AWS S3. Имеет смысл только сжать...

Я отчаянно пытаюсь изменить часовой пояс моей JVM в Sparklyr (используя spark 2.1.0). Я хочу GMT...

У меня есть два кадра данных df1:...

Мне нужно написать временную метку в паркет, а затем прочитать ее с помощью Hive и Impala. Чтобы...

У меня есть запрос, касающийся некоторых изменений моего запроса Hive в соответствии с требованием,...

Я пытаюсь разделить сеансы из набора данных lastfm, следуя ответу от https://www.arundhaj

Я не фанат HDFS, но, исходя из традиционного опыта работы с RDMS, я начинаю царапать новые...

Я новичок в Spark и Scala, поэтому понятия не имею, как называется проблема такого типа (что делает...

У меня есть приложение, которое читает несколько файлов данных из вложенных структур каталогов:...

У меня есть Rdd[(Int, (val1, val2))], который я хочу отсортировать по val2, но единственный...

Я пытаюсь найти все отдельные значения в каждом столбце в кадре данных и показать в одной таблице....

Мне известно о spark.sparkContext.statusTracker но я могу иметь доступ только к номеру Executors и...

У меня есть Rdd[(Int, Double)] и array[Int], и я хочу получить новый Rdd[(Int, Double)] только с...

Я хотел бы сделать матрицу подобия больших данных для спектральной кластеризации.Для этого я...

Я изучаю PySpark, и в моей школе настроен JupyterHub с Spark.Когда я пытаюсь запустить следующую...

Я сейчас использую sparklyr.Я могу подключиться к нашему кластеру, но по умолчанию используется...

Дело в том, что у меня есть два одинаковых выхода, один текстовый (CTR + A разделенный), а второй...

Сколько соединений будет создано между spark и hdfs при вызове sc.textFile ("hdfs: // .....").Файл...

Ниже мои версии для всего <spark.version>2.3.1</spark.version> <scala.version>2

Я пытаюсь подписаться на тему в kafka, используя оболочку scala, и ниже приведена команда, которую...

Я хочу сохранить / записать / выгрузить фрейм данных spark из блоков данных в папку хранилища...