У меня есть кластер kubernetes, в котором я развернул собственный искровой кластер. У Spark есть...

У меня есть фрейм данных: yearDF, полученный при чтении таблицы RDBMS на Postgres, которую мне...

У меня есть соединенные фреймы данных с предложением where, что dataStampe находится в диапазоне:...

Рекомендуются ли числовые столбцы для ключей разделов? Будет ли разница в производительности, когда...

У меня 6,5 миллионов строк и я хочу получить данные из hbase в spark-job . Как получить результат...

У меня есть DataFrame DF, и я хочу посчитать количество каждого txn в 2 категориях (Cat1 и Cat2)....

Я тестирую Spark 2.3.1 (автономно) на кластере из неизолированного Kubernetes У меня есть кластер с...

Как я могу инициировать выполнение нескольких скриптов Pyspark из одной записной книжки параллельно

Я пытаюсь сгенерировать набор данных в Spark (2.3) и записать его в формате файла ORC. Я пытаюсь...

Я пытаюсь загрузить данные из таблицы RDBMS в таблице Postgres to Hive в HDFS. val yearDF = spark

Я получаю объект protobuf от Kafka в моем приложении Sparkstreaming, которое использует...

Я пытаюсь изменить местоположение искры, записывает временные файлы в. Все, что я нашел в Интернете...

Я использую искру 2.3.1. Я пытаюсь решить следующую проблему. У меня есть данные, которые приходят...

Я хочу создать DF, основанный на улье sql ниже: WITH FILTERED_table1 AS (select * , row_number()...

DF1 - это то, что у меня сейчас, и я хочу, чтобы DF1 выглядел как DF2. Желаемый вывод: DF1 DF2...

У меня есть простой UDF в кирпичах данных, используемых в spark. Я не могу использовать println или...

dfInput = spark.read .option("sep", props.inputSeperator) .option("header",...

Хорошо, у меня есть таблица с определениями столбцов и соответствующими порядковыми позициями. Я...

Я использую Spark 2.3.1 и Connector / J 5.1.47 . Я написал простую программу для проверки...

Я создаю хеш-карту scala и пытаюсь записать ее как хэш-карту Java в redis из задания spark, но...

У меня есть фрейм данных с вложенной структурой (массивы массивов), StructField("Games",...

Я работал над приложением анализатора логов databricks с помощью spark и scala. В объекте...

Я пытаюсь настроить свою среду R для запуска алгоритмов H2O в кластере YARN. (не имеют доступа к...

У меня есть данные временного ряда, я хочу получить интервал данных таким образом, чтобы, если 1...

Код: val badData:RDD[ListBuffer[String]] = rdd.filter(line => line(1).equals("XX") ||...