Я пытаюсь запустить K-means на Apache Spark с Scala. Когда я использовал пример, который находится...

Мне нужно реализовать разбиение на страницы для моего набора данных (в искровых скалах). Если в...

Я пытаюсь добавить столбцы к существующему файлу CSV в HDFS. Script1: someDF1.repartition(1).write

Я новичок в Scala Spark.у меня есть данные текстового файла как 001,delhi,india 002,chennai,india...

Я пытаюсь проверить, содержит ли мой столбец хотя бы один элемент из предоставленного списка со...

Я пытаюсь отфильтровать набор данных, получая только те строки, которые содержат слова в массиве.Я...

У меня есть класс, который выглядит примерно так: import java.time.OffsetDateTime import spray.json

В PySpark я пытаюсь определить пользовательский агрегатор , который накапливает состояние .Возможно...

Я хочу напечатать данные сотрудников, которые присоединились до 1991 года. Ниже приведены мои...

У меня есть DataFrame, где я заменил некоторые отсутствующие значения поля на «N / A», например .na

Пример: У меня есть пример кода ниже: import spray.json._ import gnieh.diffson.sprayJson._ val...

У меня есть Spark Dataframe со следующей схемой: ________________________ |id | no | date | |1 |...

Я пытаюсь прочитать папку, состоящую из множества небольших паркетных файлов: 600 файлов по 500 КБ...

Я хочу проверить json, который имеет значение типа. У меня есть класс case SearchRequestMessage с...

Я попытался реализовать wordCount от Kafka и получил ошибку «несоответствие типов» при...

У меня есть фрейм данных, который выглядит следующим образом: |id |val1|val2| +---+----+----+ |1 |1...

Я получаю сообщение об ошибке: java.lang.IllegalArgumentException: требование не выполнено:...

У меня есть текстовый файл, из которого я читаю и анализирую для создания кадра данных.Однако...

У меня есть несколько json, как показано ниже, когда я загружал этот json, некоторые поля - это...

мы пытаемся добавить одинарные кавычки к каждому элементу из набора строк в Scala val s :...

Я хотел бы взять выборочные значения для каждого столбца в фрейме данных ordi и добавить эти...

Я хотел бы динамически создавать имена фреймов данных из коллекции. Пожалуйста, смотрите ниже: val...

Для case class Apple(color:String, sweetness:Double) я могу определить Decoder[String => Apple]...

У меня есть СДР в виде СДР [((ID, код), значение)] Пример СДР: ((00001, 234) 7.0) ((00001, 456) 6

Я выбираю столбцы из широкой строки со смещениями, как показано ниже df2 = df.select(...