У меня есть датафрейм со списком столбцов; один из столбцов - это key_time разной длины. Мне нужно...

У меня есть огромная таблица, состоящая из миллиардов (20) записей, и мой исходный файл в качестве...

Я пытаюсь запустить простую работу с помощью spark submit. Я делаю так: spark-submit --class com.my

Я разработал приложение Spark 2.2 для совместной фильтрации. Он прекрасно работает в IntelliJ для...

Я использую игровую рамку 2.3.9. и мой build.sbt выдает ошибку ошибка: ожидаемая, но '}' найдена. }...

В старом API Spark на основе RDD было возможно "объединить" до 3 RDD с вашими исходными RDD за один...

В некотором роде пост , который у меня был месяц назад.У меня есть искробезопасное приложение для...

У меня есть UDF: val TrimText = (s: AnyRef) => { //does logic returns string } И датафрейм: var...

У меня есть ссылка для открытия веб-сайта в одном из представлений в моем приложении, и мне нужно,...

class ExampleController @Inject() (ws: WSClient)(lifecycle: ApplicationLifecycle)(gzipfilter:...

Я написал следующую функцию, которая объединяет две строки и добавляет их в новый столбец кадра...

При выполнении примера Apache Spark появляется следующая ошибка org.apache.spark.SparkException:...

У меня проблема с передачей данных в Kafka с помощью фрейма данных Spark. Позвольте мне объяснить...

Я очень новичок в Scala, поэтому извиняюсь, если какая-то из следующих терминов неверна. У меня...

Пожалуйста, предложите мне решить нижеприведенную проблему или предложите другой подход для...

Мой файл содержит несколько строк, которые имеют разную структуру. Каждый столбец распознается по...

Сначала я запускаю spark-shell в Windows, и я читаю файл с локального val res0 = sc

У меня есть пара СДР, например: id value id1 set(1232, 3,1,93,35) id2 set(321,42,5,13) id3 set(1233...

Я прочитал данные из таблицы Hive, отсортированные как файл Parquet, в DF. После применения...

Я пытаюсь выполнить некоторые преобразования в наборе данных с помощью spark, используя scala, в...

Когда я пытаюсь распечатать содержимое RDD с помощью действия first(), я могу напечатать его с...

Я хотел бы создать json из 2-х фреймов данных (один родительский, а другой дочерний). Дочерние...

У меня есть столбец с оценками, и я хочу создать столбец групп для этой оценки. Пример: счет 623...

У меня есть пример данных, как показано ниже: UserId,ProductId,Category,Action 1,111,Electronics...

Я работаю над очень общим случаем регулярных выражений в scala / java. У меня очень большой набор...