Я пытаюсь создать фрейм данных из таблицы улья, используя SparkSession, как показано ниже.После...

Я прошел через различные связанные предложения, но я все еще борюсь. Что у меня есть: Spark:2.3.1...

Я использую клей AWS для выполнения кластеризации Kmeans в моем наборе данных.Я хочу найти не...

У меня есть база данных, где мы используем Scala и Slick для общения с базой данных.У меня есть 4...

Я пытаюсь получить данные из Кассандры, используя искровой фрейм данных.Ниже приведен код для...

Я ищу решение для построения агрегации со всеми комбинациями столбцов.Например, у меня есть для...

Применение регулярных выражений к фрейму данных следующим образом: val match2 = df

У меня есть код ниже, который используется для копирования данных из таблицы HIVE в HDFS в режиме...

Я хочу выполнить работу spark2 в моем Kerberos кластера Cloudera (CDH) включен.Я включил Kerberos в...

Что является эквивалентом следующего кода Scala для шифрования / дешифрования AES с использованием...

Я использую Scala. У меня есть фрейм данных со столбцом date, который выглядит так: | date |...

(я думаю, что я почти уверен, что ответ) вот мой код: val fileName =...

У меня есть два фрейма данных, как показано ниже...

Есть ли простой способ определить тип файла в Spark с помощью Scala? PS: У моих файлов нет...

Я делаю это ниже на моем 8-гигабайтном ноутбуке и запускаю код в Intellij.Я вызываю 3 apis...

Я работаю над созданием программы / фреймворка Generinc в SCALA / SPARK - который будет работать...

Есть ли какой-нибудь выход для доступа к java-объектам на рабочих узлах через pyspark? Ниже...

Учитывая два столбца DataFrame объектов SparseVector, как вы можете добавить (т.е. добавить вектор)...

Я использую перекрестную проверку для выбора модели и параметров в Spark.Из-за необходимости...

Я использую язык программирования Scala. Приведенный ниже код отлично работает, когда я запускаю...

Я пытаюсь использовать функции sql NVL2 и NULLIF в моем коде scala-spark, но он не работает. Это то...

Здесь я хочу заменить значение в определенном столбце на ноль, если оно пустое. String. Причина в...

Позвольте быть работой, которая содержит две фазы, которые (для удобства) не могут быть объединены

У меня есть фрейм данных: yearDF со следующими столбцами: name, id_number, location,...

У меня есть класс модели Scala, объект которого я хочу сохранить в таблице Cassandra. Существует...