Мой фрейм данных выглядит так: df.schema приводит к: StructType( StructField(a,StringType,true),...

У меня есть такой код с многострочным запросом val hiveInsertIntoTable = spark.read.text(fileQuery)

У меня есть входной файл данных, например: (с именами столбцов, не являющимися частью файла данных....

Я скачал документ snappy с github snappy poc , и я пытаюсь построить проект.Но, похоже, есть...

Я могу прочитать в кадре данных Spark как пользовательский объект, подобный этому: spark.read

У меня есть спарк DataFrame, df1, который содержит несколько столбцов, один из которых с...

Предположим, у меня есть такой фрейм данных. val df = sc.parallelize(Seq( (1.0, 1,"Matt")...

Я читаю данные из источника jdbc и записываю их непосредственно в индекс эластичного поиска.Когда я...

Я сталкиваюсь с этой ошибкой при запуске задания спарка в автономном режиме кластера. У меня есть...

У меня есть два кадра данных.Мне нужно найти значение в кадре данных и обновить ячейку для...

Запуск автономного spark-2.3.0-bin-hadoop2.7 внутри док-контейнера df1 = 5 строк df2 = 10 строк...

У меня есть фрейм данных со многими столбцами, и я хочу получить максимальное, минимальное,...

Я использую Spark 2.1.1.Я делаю много соединений и выбираю входные DS (inputDs) в цикле по часам,...

Я новичок в Spark SQL, Я использую DataFrame, схема которого показана ниже fields.add(DataTypes

Я пытаюсь создать новый столбец в моем test фрейме данных, используя значения из другого фрейма...

Схема кадра данных df10 root |-- ID: string (nullable = true) |-- KEY: array (nullable = true) |...

У меня есть Spark Dataframe, как показано ниже: +---------+ |col_str_1| +---------+ | 1| | 2| | 3|...

val tableDF = spark.read.option("delimiter",",")

Я работаю со Spark 2.2.0. У меня есть DataFrame, вмещающий более 20 столбцов.В приведенном ниже...

Я использую HiveContext для удаленного запроса таблицы кустов в кластере hdfs через spark 1.6.0 и...

Я получаю один фрейм данных методом https://spark.apache.org/docs/2.3.0/api/scala/index.html#org

Привет всем, При чтении данных из файла в искре я получаю сообщение об ошибке, как будто путь не...

Я не смог найти ни одной дискуссии по теме ниже ни на одном форуме, который искал в интернете.Это...

У меня есть файл json, структура которого [{"time", "currentStop", "lat", "lon", "speed"}], вот...

Попытка сохранить фрейм данных в виде таблицы. Я также могу создать фрейм данных и временную...