Недавно я переместил свой код с python на scala и создал проект со средой scala, включая spark, я...

Я пытаюсь загрузить данные из таблицы RDBMS в таблице Postgres to Hive в HDFS. val yearDF = spark

Я борюсь с оптимизацией моих пользовательских функций, которые в настоящее время передаются как UDF

Я не могу добавить слияния репо в мой сб. Я посмотрел пример pom и нашел определение добавления...

Я использую искру 2.3.1. Я пытаюсь решить следующую проблему. У меня есть данные, которые приходят...

Я хочу создать DF, основанный на улье sql ниже: WITH FILTERED_table1 AS (select * , row_number()...

Когда я пытаюсь установить зависимость пакета "spark-sftp" в моей конфигурации Spark, я получаю...

У меня есть функция, которая возвращает List<String[]>, я могу изменить ее так, чтобы она...

Я написал следующий код: val reg =...

DF1 - это то, что у меня сейчас, и я хочу, чтобы DF1 выглядел как DF2. Желаемый вывод: DF1 DF2...

У меня есть простой UDF в кирпичах данных, используемых в spark. Я не могу использовать println или...

Я использую play.api.mvc.BodyParsers для своего проекта Scala. Но дело в том, что при сбое...

dfInput = spark.read .option("sep", props.inputSeperator) .option("header",...

Хорошо, у меня есть таблица с определениями столбцов и соответствующими порядковыми позициями. Я...

У меня есть сообщение kafka от производителя Kafka-connect в следующем формате, и я хочу...

Я пытаюсь создать фрейм данных с одной строкой, значения которой равны нулю. val df = Seq(null...

У меня есть список scala val x = Список [(a, b), (c, d), (d, e)] Я хочу преобразовать приведенный...

У моего исходного CSV есть столбец времени, например Time Attempt 12.07.2018 00:00:00 50 12.07.2018...

Я пытался конвертировать HTML в PDF, когда использовал конвертер ItextPdf HTML в PDF. Но когда он...

У меня есть фрейм данных с вложенной структурой (массивы массивов), StructField("Games",...

Я пытаюсь отправить несколько данных производителю kafka, используя поток akka, в то время как я...

Я пытаюсь написать метод (который будет выполняться через исполнителя), который будет возвращать...

Я анализировал разработанный код. Я нашел что-то вроде этого. val newDF = df.repartition(1)

private def retrieveSongId(songName: String): Option[JsValue] = { val geniusStringResponse =...

Я работал над приложением анализатора логов databricks с помощью spark и scala. В объекте...