Хотелось бы понять, как проверять / проверять / тестировать режим развертывания (режим клиента или...

Я написал ниже функцию object AgeClassification { def AgeCategory(age:Int) : String = {...

У меня есть такие данные +-------------+--------+--------+ | COl1| Col2| COL3|...

Я создаю Spark Streaming Application и хочу обрабатывать каждое сообщение Кафки отдельно. Сейчас я...

Я пытаюсь создать список из структурного типа во фрейме Spark Data. Схема выглядит примерно так...

У меня есть два набора данных и справочные данные. Подробнее код даты местоположения температуры 1...

Как я могу получить все имена массивов в Dataframe? Проблема в том, что я пытаюсь взорвать ВСЕ...

Я пытаюсь прочитать файл журнала apache и пытаюсь поместить его в dataframe после синтаксического...

Итак, я пытаюсь проанализировать JSON с argonaut . Идея состоит в том, чтобы разобрать json из...

У меня есть некоторые проблемы для преобразования столбца с датами. Мой столбец дат выглядит...

Я выполняю задание Spark с использованием Scala, но оно застревает, не выполняя и задачи моих...

Я делаю что-то вроде df.write.mode("overwrite").partitionBy("sourcefilename")

У меня есть два кадра данных, например: DF1 +----+-------+------+------+ |id |...

У меня есть плоская карта, которая возвращает последовательность Seq((20,6),(22,6),(23,6),(24,6)...

Я новичок в scala, и мне нужно сделать асинхронный вызов (индексирование эластичности с...

Я использую spark с Scala для преобразования Dataframe, где я хотел бы вычислить новую переменную,...

Я использую функцию для преобразования информации json, отправленной с внешнего интерфейса: def...

Поскольку я хочу извлечь данные из .doc файлов с помощью apache Tika, я запускаю следующий код:...

Мы обучаемся выполнять анализ настроений на данных в Твиттере с помощью Hadoop, и мы получаем...

Я пишу DataFrame в Redshift, используя временную корзину s3 и Parquet в качестве временного формата

У меня есть фрейм данных, к которому я применяю фильтр, а затем серию преобразований.В конце я...

У меня есть такой код: public class A { private String id; //constructor, getter, setter } В Java я...

Я создаю кучу case-классов в scala, которые я буду использовать для записи в db.Поскольку столбцы в...

Я написал искровую библиотеку в Scala, где я хотел бы сделать какое-то действие, прежде чем...

Я видел инъекцию зависимостей, записанную следующим образом при создании чего-то вроде слоя...