Я использую приложение spark в конфигурации ниже: 1 мастер, 2 рабочих узла. Каждый работник имеет...
У меня есть искровой DataFrame, импортированный из файла CSV. После применения некоторых...
Я пытался ./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache
Я пытаюсь вычислить AUC (область под ROC), сгруппированную по ключевому полю, используя API Scala,...
В базе данных Hive есть несколько таблиц, я хочу получить доступ к одной из них с помощью SparkSql...
Мне может показаться наивным задавать этот вопрос, но это проблема, с которой я недавно столкнулся...
Попытка выдвинуть определенную строку в кадре данных Spark в конец кадра данных.Это то, что я...
У меня есть Spark DataFrame с идентификатором и набором числовых столбцов, и для каждого столбца,...
В настоящее время я рассматриваю возможность использования Apache Spark для расчета некоторых...
Ниже приведено содержимое файла spark-defaults.conf.template: spark.master spark://10.10.51.93:7077...
У меня есть текстовый файл в HDFS, который содержит около 10 миллионов записей. Я пытаюсь прочитать...
Я хотел бы понять, как лучше всего выполнить агрегацию в Spark в этом сценарии: import sqlContext
У меня есть датафрейм, импортированный из CSV с двумя столбцами (среди прочих): дата и время.Date -...
Я загружаю некоторые таблицы ORC из S3, но я полагаю, что я сталкиваюсь с некоторыми проблемами с...
У меня есть два кадра данных, DF1 и DF2, DF1 является ведущим, а DF2 является дельтой. Данные из...
Мне нужно вставить строку в таблицу SQL из Spark, запущенного в Azure Databricks, и узнать, есть ли...
В Windows Spark 2.3.1 я пытаюсь объединить два кадра данных.Хотя оба имеют одну и ту же схему, я...
Я хочу запустить пользовательскую функцию для столбца данных. Столбец содержит длинную строку,...
Можно ли как-нибудь оценить выражение Column, если я использую только Literal (без столбцов данных)
Я использую Spark 1.6 и выполняю внутреннее объединение на двух кадрах данных следующим образом:...
В приложении Spark (Spark 2.1) я пытаюсь отправить класс case в качестве входного параметра функции...
Я использую API структурированной потоковой передачи Spark 2.3.1. Можно ли ранжировать значения в...
Как я могу получить доступ к выражению катализатора (не обычному UDF) в API Spark SQL scala DSL?...
У меня есть вложенный файл JSON, который я загрузил в набор данных. например:...
Я не был уверен, что озаглавить этот вопрос - рад за предложенное лучшее резюме Я бьюсь головой,...