В настоящее время мы читаем дату с использованием экземпляра календаря для выбора записи за...

Наша главная цель - чтобы мы выполняли операции с большим объемом входных данных (около 80 ГБ)....

У меня есть монады, которые обертывают списки. Я хотел бы объединить эти монады, чтобы образовать...

Входной фрейм данных import spark.implicits._ val ds = Seq((1,"play Framwork"), (2...

Я пишу Spark Jobs, которые говорят с Кассандрой в Datastax. Иногда при прохождении...

У нас есть несколько папок, каждая из которых содержит много файлов CSV. Имя для каждой папки...

У меня есть датафрейм, как показано ниже +--------+-----+-------+-------------+----+ |...

Я читал о Картах, и поэтому я попытался создать такой как: val myMap = for(i <- 0 to 10) yield {...

У меня есть фрейм данных, и я могу выполнить агрегирование со статическими именами столбцов, т. Е....

У меня есть сценарий, в котором файлы данных поступают (в любое время дня и приходят несколько раз...

и да, прежде чем пометить это как дубликат, я уже прочитал Как предотвратить ошибку java.lang

У меня есть следующий абстрактный класс и два его подкласса: abstract class BoundedNumber(val...

Я использую Livy для запуска примера wordcount, создавая файл jar, который работает отлично, и...

Запустил задание spark (v2.1.1), которое объединяет 2-е число (одно - файл .txt из S3, другое -...

У меня есть фрейм данных Spark (scala), в котором некоторые столбцы данных являются необязательными...

Я хочу установить подкадр данных из df, сгенерированного из паркетных файлов...

Мне нужно прочитать данные из базы данных Oracle, используя JDBC с Spark (2.2). Чтобы свести к...

Я пытаюсь присоединить таблицу к себе. Я получаю строки таблицы, затем по второму запросу снова...

У меня есть этот код, и он выдает ошибку, basepath должен быть dir. Просто хочу запустить простую...

Мы можем определить сопутствующий объект Scala для абстрактного класса: object...

Я хочу внести изменения в столбец в кадре данных. Столбец представляет собой массив для целых чисел

Я хочу передать значение параметра в функцию, но оцениваю значение другой переменной. Я пробовал...

Я хотел создать файл XML с объявлением XML из CSV / Dataframe, используя Scala в spark. Я использую...

Я пишу клиент pubsub Google, используя Java API, клиент написан на Scala. Проблема этого кода в том...

Я пытался использовать UDF в spark и заметил, что существует три различных способа объявления UDF,...