Метод 1: Запрос файла паркета напрямую как: val sqlDF = spark.sql("SELECT columns FROM parquet

Ниже приведен мой код: я пытаюсь получить доступ к файлам S3 из локально спарк.Но получаю ошибку:...

У меня есть базовый DataFrame, содержащий все данные, и несколько производных DataFrames, которые я...

Я новичок в программировании на Scala и на языках JVM.Я хочу преобразовать строку в yyyy-MM-dd в...

Я хочу найти разницу во времени в 2 ячейки. С arrays в python я бы сделал for loop st[i+1] - st[i]...

У меня есть объект scala, передаваемый методу dashBoardInsert, и я провел перекрестную проверку,...

Я хочу выбрать несколько столбцов, добавить несколько столбцов или разделить, с некоторыми...

Используя Spark в GCP Dataproc, я успешно записываю весь RDD в GCS следующим образом: rdd

Мой текстовый файл содержит следующие данные: 10,14,16,19,52 08,09,12,20,45 55,56,70,78,53 Я хочу...

При загрузке данных Json в DataFrame я получаю только столбец _corrupt_record. Я пробовал Ниже оба...

Я пытался закодировать массив значений в Spark 2.3.0 в Scala.Я попытался использовать Spark...

У меня есть два кадра данных в Scala (изначально в виде списков), и я хочу добавить их.Например,...

У меня есть: +-----------------------+-------+------------------------------------+ |cities |name...

Я новичок в scala - spark и загрузил мой набор данных в RDD.Вот мой пример набора данных scala>...

Получение ниже исключения при попытке спарк-оболочки в Windows.Действительно ли нужен интернет для...

Не знаю точно, как начать, но в моем случае я пытаюсь получить размер моего HDFS-каталога с помощью...

У меня есть некоторые данные, у которых есть поле столбца метки времени, которое является длинным и...

Я написал код scala для загрузки конфигураций и параметров из файла conf с использованием typesafe

У меня есть код Scala, использующий scalalikejdbc для подключения и выполнения INSERT в MySQL.Код...

Папка проекта Scala, которую я пытаюсь удалить, постоянно воссоздается / не удаляется при ее...

У меня есть код ниже, где я пытаюсь создать Spark DataFrame с полем, которое является структурой

Я новичок в Scala Spark и пытаюсь создать пример проекта с использованием Intellij.Во время...

После экспериментов с расширением eta в scala я обнаружил странную особенность.Давайте определим...

Я читаю набор данных, который имеет одно из полей в WrappedArray of Map, в формате ниже....

У меня есть фрейм данных, подобный приведенному ниже: +----+----+----+ |colA|colB|colC|...