получая это предупреждение ниже при попытке создать временную таблицу, помогите решить это...

Я новичок в Spark и пытаюсь прочитать файл CSV с помощью проекта Java maven, но получаю ошибку...

У меня S3 bucket с двумя форматами разделов: S3: // bucketname / имя_таблицы / год / месяц / день...

У меня есть фрейм данных, который я пытаюсь записать в папку S3 в виде JSON. df.printSchema root...

При чтении из файла JSON зависит ли Spark v2.3.1 от местного часового пояса? Мой...

SPARK-26039 При загрузке пустой папки orc. В любом случае, чтобы обойти это. val df = spark.read

Я пытаюсь типизировать столбцы во фрейме данных df_trial, в котором все столбцы представлены в виде...

Чтобы пользователи системы могли динамически создавать (через веб-интерфейс приложения) разные...

Ниже мой набор данных с использованием искры. Я хочу добавить еще один столбец в конце с именем...

Следующий запрос Spark SQL работает нормально: ((country IN (FROM medium_countries) ) AND (country...

У нас есть данные временных рядов, такие как ежедневный файл паркета размером 3 ГБ в HDFS...

Я создал кластер в блоках данных Azure. В его DBFS (файловая система Databricks) я смонтировал...

У меня есть следующий DataFrame: +------+------------------+--------------+-------------+ | name|...

У меня есть следующий DataFrame: name,email,phone,country...

Мы используем пользовательскую функцию (UDF) для выполнения «деления карты» на два столбца MapType...

У меня есть фрейм данных с диапазоном дат и некоторыми значениями, я хочу агрегировать по дате и по...

У меня есть два кадра данных, как показано ниже: df1 = (Receipt_no: String ,...

Мне нужно разрешить пользователям определять разные именованные коллекции, которые они могут...

У меня есть следующий SparkSQL: val resultDf = spark.sql("SELECT name, phone, country FROM...

У меня есть следующий фрейм данных: +---+---+---+ | F1| F2| F3| +---+---+---+ | x| y| 1| | x| z| 2|...

Как я могу написать в паркет с пользовательским разделителем? (partitonBy, по несуществующему...

Можно ли создавать кадры данных из 2 разных источников и выполнять над ними операции. Например, df1...

У меня есть база данных Kudu с таблицей в ней. Каждый день я запускаю пакетное задание, которое...

Как вставить новые данные в существующую таблицу ??? Я пытаюсь вставить новые данные в существующую...

У меня есть датафрейм следующим образом id value 1 I am a boy 1 I am a men 1 I am afather 2 I am a...