Я пытаюсь определить udf в Spark 2.3.0, используя Scala 2.11.12.Мне кажется, что мне нужно...

Я хочу записать фрейм данных в базу данных mysql и присвоить созданной таблице свойства, такие как...

Я хочу выполнить некоторые операции, используя RDD.map, и он работает в искровой нити. Тем не менее...

У меня нет базы данных no-sql, где я храню сериализованные объекты avro.Я использую плагин sbt-avro...

Я работаю над заданием spark, которое обновляет его статус в таблице относительно его выполнения,...

Мне нужно создать DataFrame из существующего DataFrame, в котором мне нужно также изменить схему. У...

Мой искровой фрейм выглядит так: +------+------+-------+------+ |userid|useid1|userid2|score |...

У меня есть StructType: val st = StructType(Seq(StructField("idType", StringType, false),...

Я пытаюсь удалить текст ASCII Spark из консоли. Есть ли где-нибудь файл конфигурации или команда,...

Я пытаюсь создать многострочную строку в Scala, как показано ниже. val errorReport: String =...

Это для проекта PySpark / Databricks: Я написал библиотеку Scala JAR и представил ее функции в виде...

У меня есть следующий предикат соединения Apache Spark SQL: t1.field1 = t2.field1 and t2.start_date...

Я просто использовал VectorAssembler, чтобы нормализовать свои функции для приложения ML. def...

У меня большой (> 500 м ряд) файл CSV.Каждая строка в этом CSV-файле содержит путь к двоичному...

У меня есть датафрейм df, подобный следующему +--------+--------------------+--------+------+ | id|...

Я пытаюсь включить макроаннотации в свой проект. Следуя документации , я попытался реализовать их...

Это не компилируется: class MyClass[+A] { def myMethod(a: A): A = a } //error: covariant type A...

Я новичок в искре и упругом поиске. Для моего примера загрузите CSV из hdfs и обработайте через...

Вот определения функций, которые отлично работают: case class Type(unique:String, tech:String) case...

Таким образом, все работало хорошо на моем старом компьютере, но когда я пытаюсь упаковать свой...

При использовании combinebyKey получена ошибка несоответствия типов, как следует scala> rdd

Использование Scala: у меня есть таблица emp, как показано ниже id, name, dept, address 1, a, 10,...

Я хотел бы добавить (добавить) новый столбец к существующему фрейму данных с несколькими столбцами....

Существует конфигурация для CircleCI . На локальной машине при запуске CircleCI все проходит. В...

В приведенном ниже коде spark-scala двойное значение типа данных сохраняется по-разному. Хотя в...