В искре при вычислении СДР мне было интересно, если, например, у меня есть СДР [Либо [A, B]], и я...

Я новичок в спарке и пытаюсь решить проблему искаженных данных.Я использую алгоритм коллеги для...

Я пытаюсь вставить в таблицу данных улья класс DataStreamWriter в формате hive. rdf.writeStream

Когда я пытался реализовать алгоритм в Graphx с помощью Scala, я не находил возможным активировать...

Я написал следующую функцию: import scala.util.matching.Regex val COL1 = "COL1" val COL2...

есть ли у кого-нибудь рабочий пример функции mapPartitions для фрейма данных? Обратите внимание: я...

У меня есть класс дел, определенный следующим образом: def case_class(): Unit = { case class...

Мои настройки: scala:2.11.8 spark:2.3.0.cloudera4 Я уже добавил это в мой .pom файл:...

Я новичок в scala и mllib, и я получаю следующую ошибку.Пожалуйста, дайте мне знать, если...

У меня есть база данных MySQL, размещенная на сервере AWS RDS и Play Framework с использованием...

Я перефразировал свой вопрос. Я изучаю скалу и искру.Мне известно о создании RDD из файла CSV...

Можно ли как-нибудь расширить решение до типа суммы? sealed trait Group case class A extends Group...

Я начну с того, что скажу, что я новичок в Scala.Я клонировал исходный код Spark из Github и играю,...

У меня простая структура проекта: WordCount|| ------------ проект| ---------------- | --- assembly

У меня есть RDD выход (22 столбца, 10000 строк) разъема искрового Hbase, и я должен преобразовать...

Я пытаюсь зарегистрировать udf в scala spark следующим образом: регистрация следующего udf работает...

Я новичок в технологиях Spark-Scala, в рамках своего обучения я пытаюсь найти время между двумя...

Моя строка 889¦20457892¦955 Я хочу получить 955 в качестве вывода, и это мой код, но он дает None в...

Я пытаюсь сравнить даты ниже в фильтре, как показано ниже: - фрейм данных KIN_PRC_FILE имеет...

Я создал такой класс дел: def case_class(): Unit = { case class StockPrice(quarter : Byte, stock :...

Объявление spark org.apache.spark.sql.functions.countDistinct: def countDistinct(columnName: String...

Учитывая следующий код: def createXmlOutput(...) : Elem = { <something> { if (condition ==...

У меня есть обработанный фрейм данных, который я хочу добавить к исходному фрейму данных.Но это...

У меня есть требование для создания преобразователя пользовательских функций в spark scala.I....

cat department dept_id,dept_name 1,acc 2,finance 3,sales 4,marketing Почему существует разница в...