Я работаю над Spark SQL с Spark (2.2) и использую Java API для загрузки данных из файла CSV. В...

У меня есть Dataset<Row> со столбцами, имеющими значения "null" (пустой текст). Я...

У меня есть фрейм данных с 2 столбцами, и я получил массив ниже, выполнив df.collect () . array =...

У меня есть Набор данных с 48 столбцами, импортированными из Salesforce: Dataset<Row> df =...

У меня есть входной набор данных в следующем формате: +---+--------+----------+ | id| refId|...

Я использую com.datastax.spark:spark-cassandra-connector_2.11:2.4.0, когда запускаю ноутбуки...

Я использую PySpark на AWS Glue.Когда я смотрю на показатели моей работы, они обычно выглядят...

У меня есть большая таблица, как показано ниже в spark: (a,b,1) (a,c,2) (b,a,3) (b,c,4) (c,a,5)...

просто выполнение этого запроса spark-sql в блоках данных работает нормально: %sql select...

Интересно, поддерживает ли Spark SQL результат кэширования для запроса, определенного в предложении...

Я пытаюсь выполнить сокращение раздела, используя условия JOIN ON, а не условия WHERE.Предлагает ли...

Я получил вывод из запроса Spark SQL, несмотря на то, что фактическая таблица кустов не содержит...

Я знаю, как это сделать, но я полагаю (или, по крайней мере, надеюсь), что есть более простой и...

У меня есть несколько Map[String, String] в List (Scala).Например: map1 = Map("EMP_NAME"...

Я хочу разделить столбец "_time", который содержит дату и время (как fieldtype = string) даты...

Я анализирую файлы Twitter с целью взять актуальную тему в формате json с Spark SQL После того, как...

Я не знаю много искры.В верхней части кода у меня from pysaprk.sql import SparkSession import...

Я создал фрейм данных pyspark, как показано ниже: df = spark.createDataFrame([([0.1,0.2], 2), ([0

Я работаю в университете, и пытаюсь заставить Spark SQL работать с зашифрованными данными.Я...

Я хочу обнулить какое-то значение в моем вложенном фрейме данных и записать его в Amazon Redshift,...

Я работаю в университете, и пытаюсь заставить Spark SQL работать с зашифрованными данными (с...

Я новичок в Spark и проходил через Dataframes и Dataset.Я пытался понять разницу между ними, но я...

Я знаю, что могу использовать %pyspark df = sqlContext.sql('select * from train_table') И...

У меня есть искровой код, который определяет схему с 950+ столбцами.Это что-то вроде ниже val...

Итак, у меня есть строка искры x (тип: org.apache.spark.sql.Row), и я хочу преобразовать ее в...