У меня есть основной фрейм данных - seasonsDF, соединенный слева с Key-Value DF - listvaluesDF,...

TL; DR : иногда PySpark VectorAssembler выдает ошибку в моем конвейере, и иногда мой конвейер...

Я работаю со Scala для разработки. Мне поставили следующую задачу: Для каждой комбинации год /...

моя цель - извлечь из полезной нагрузки json, полученной от брокера kafka, определенное поле со...

У меня есть в Scala / Spark: myDataframe .orderBy("date") .write .csv(...) Генерируемые...

У меня есть таблица улья, где я пытаюсь alter table tablename change col1 col1 <newdatatype>,...

У меня есть Apache PySpark Dataframe, подобный следующему (дата yyyy-mm-dd) | ID | is_test | date |...

Мне нужно написать сложную Пользовательскую функцию (UDF) , которая принимает несколько столбцов в...

Я использую spark-sql 2.4.1, spark-cassandra-connector_2.11-2.4.1.jar и java8. У меня есть сценарий...

Я хочу загрузить данные из файлов json, но получаю следующее исключение: AnalysisException:...

Моя проблема в том, что я не могу напечатать данные, собранные с Kafka, потому что, когда я пытаюсь...

У меня есть искорка, которая читает с кафки. У меня 32 исполнителя. В преобразовании отображения я...

Я извлек некоторые данные из улья в датафрейм в указанном ниже формате. | NUM_ID| SIG1| SIG2| SIG3|...

Функция withColumn может использоваться для замены одного столбца за раз. Мне нужно заменить два...

Итак, я читаю данные из файла. Что-то вроде data = spark.read.format('orc')

с использованием искробезопасных лазурных блоков данных. У меня есть кадр данных (df1) со 100+...

Я пытаюсь создать привет мир в Spark Streaming, используя Scala. Вместо чтения строки из сокета или...

У меня есть искровой фрейм данных с несколькими столбцами как ноль. Мне нужно создать новый фрейм...

У меня есть требование упорядочить значение столбца и сгруппировать другой столбец в кадре данных....

Я пытаюсь сгенерировать fat-jar (со сборкой sbt), а затем отправить его на spark, используя...

код val rdd = sc.textFile("file:///C:/Naresh/data/ghgh").map(f =>"select count...

Я пытаюсь удалить нижний колонтитул из файла во время чтения файла. есть ли такая опция, как...

Я получаю исключение InterruptedException в методе Спарка rdd.collect(). Трассировка стека: java

Я читаю из потоковых данных (значения, разделенные запятыми), используя KafkaUtils

Я получил сообщение об ошибке, когда пытался объединить два набора данных из базы данных и...