У меня есть фрейм данных 'regexDf', как показано ниже id,regex 1,(.*)text1(.*)text2(.*)text3(

DF1 - это то, что у меня сейчас, и я хочу, чтобы DF1 выглядел как DF2. Желаемый вывод: DF1 DF2...

у меня есть: val sparkBuilder: SparkSession.Builder = SparkSession .builder

Я использую SparkLauncher для того, чтобы подавать заявки на спарк. Я хотел бы перенаправить...

У меня есть Spark RDD, как показано ниже: СДР [строка] со значениями вроде: (00,"asfad",...

val spark = SparkSession.builder().appName("Wordcount").master("local[*]")

Я новичок в Spark и примеряю руки. В настоящее время у меня есть схема, с помощью которой я...

Предположим, у меня есть две библиотеки в моих pom.xml или build.sbt, скажем, A и B. Предположим,...

Я хочу объединить несколько столбцов ArrayType [StringType] в spark, чтобы создать один ArrayType...

У меня есть фрейм данных Scala Spark с четырьмя столбцами (все строковые типы) - P, Q, R, S - и...

Я хочу понять, как лучше всего решать проблемы, связанные с датами, в spark SQL. Я пытаюсь решить...

У меня настроен честный планировщик, как указано в документе: conf.set("spark.scheduler

Схема: |-- c0: string (nullable = true) |-- c1: struct (nullable = true) | |-- c2: array (nullable...

У меня есть фрейм данных: yearDF, полученный при чтении таблицы RDBMS на Postgres, которую мне...

Я пытаюсь преобразовать RDD [(String, Map [String, Int])] в RDD [String, String, Int] и в конечном...

То, что я делал до сих пор, читается как CSV следующим образом: val data = env

В doc указывается, что можно запланировать несколько заданий в одном сеансе / контексте Spark....

У меня есть соединенные фреймы данных с предложением where, что dataStampe находится в диапазоне:...

У меня есть DataFrame DF, и я хочу посчитать количество каждого txn в 2 категориях (Cat1 и Cat2)....

Со страницы spark-nlp GitGub Я скачал файл .zip, содержащий предварительно обученную NerCRFModel....

У меня есть data_date, который дает формат ггггммдд: beginDate = Some(LocalDate

У меня есть датафрейм, и он был импортирован из mysql dataframe_mysql.show()...

Я довольно новичок в Scala, и я хотел бы знать, есть ли какой-нибудь способ создать фиктивный...

Предположим, у меня есть файл журнала событий (посещений) с отметкой времени. Я хотел бы...

У меня есть скрипт, работающий в параграфе с интерпретатором Spark в Zeppelin. Он имеет импорт, и...