У меня есть фрейм данных с одним из столбцов, содержащих временные метки, которые представлены в...

spark-submit --num-executors 10 --executor-memory 5g --master yarn --executor-cores 3 --class com

У меня есть измененная версия исходного кадра данных, на котором я выполнял кластеризацию. Теперь я...

Моя проблема в том, что я пытаюсь выполнить сборку fatjar, сгенерированную с помощью sbt, но я не...

У меня есть столбец данных, указанный ниже. House_No = INT family_details = ["name" , age...

Как я могу удалить все \ символов, которые являются частью строк, из нескольких столбцов в искровой...

Я бы хотел представить postgres smallint как логическое значение.Я получаю сообщение об ошибке:...

Мы пишем файлы из спарк и читаем из Афины / Улья.У нас возникла проблема с отметкой времени при...

Я пытаюсь прочитать, используя Scala, файл sql, полный запросов, которые нужно выполнить, однако я...

У меня есть два набора данных spark, один с столбцами accountid и key, ключевой столбец в формате...

Я хочу сопоставить строки, заключенные в тройные " -цитаты, которые могут содержать разрывы...

Я получаю эту ошибку при запуске моего приложения в intelliJ: [error] (ABCThread-1) java.lang

У меня есть этот код: case class L2JsonMapping(myTarget: Option[Int]) case class L1JsonMapping(l1:...

Я загрузил 2 CSV-файла, преобразовал RDD в DF и написал несколько условий JOIN для их выполнения.Я...

Я хочу найти значения в списке ключей на карте.Если карта не содержит ключа, она должна вернуть...

В программе, которую я разрабатываю с использованием Spark 2.3 в Scala, у меня есть...

Выполнение приведенного ниже кода: class Parent { val value = { println("Setting value in...

Я читаю коды Scala и обнаружил следующее: val TimeRegex =...

Предположим, мне нужно сгенерировать случайную строку для представления цвета RGB.Строка состоит из...

Я пытаюсь спроектировать переход состояния, используя монаду State.У меня на самом деле есть java

Я пытаюсь создать проект с двумя основными классами - SparkConsumer и KafkaProducer.Для этого я...

Я создаю оболочку Scala вокруг библиотек Torch .Я использую Swig , чтобы создать слой клея.Это...

Использование потоковой передачи Spark для чтения данных Json из раздела Kafka. Я использую...

У меня есть данные о ценах временных рядов, с идентификатором, датой и ценой. Мне нужно вычислить...

Я хочу переформатировать структуру json, используя искровой процесс, в структуру, содержащую массив...