Я пытаюсь использовать сумму после groupBy, например, val b = a.groupBy($"key")

У меня есть dataframe, как показано ниже c1 Value A Array[47,97,33,94,6] A Array[59,98,24,83,3] A...

наверное мой вопрос довольно очевиден.Хотелось бы взглянуть на один каталог и создать список строк,...

Я работаю с master и работником spark в контейнере kubernetis. Я выполняю работу, используя java...

Мое намерение состоит в том, чтобы использовать z.put и z.get для разделения переменных между...

У меня есть запрос Neo4J, который возвращает список узлов, которые, скорее всего, не будут пустыми,...

У меня есть файл журнала со структурой: log_type time_stamp kvs p 2019-06-05 18:53:20...

val df1 = Seq(("[1,10,20]", "bat","43243"),("[20,4,10]"...

Я пытаюсь сгруппировать указанный ниже набор данных на основе столбца «id» и поэлементно...

Я написал программу scala, которая запускает ядра Cuda с использованием интерфейса JCuda. Эти ядра...

У меня есть работа Spark, написанная на Scala, которая в конечном итоге записывается в AWS DynamoDB

Как мы все знаем, использование Future в Scala требует объявления контекста выполнения, который...

Ниже приведен мой код, и когда я пытаюсь перебрать каждую строку: val df: DataFrame = sqlContext

Это дано: case class Money(value: BigDecimal, currency: Currency) trait Currency case class EUR ( .

У меня довольно большой набор данных (100 миллионов + записей с сотнями столбцов), которые я...

Я читаю файл xml, используя sparkSession на основе заданного rowTag. Полученный в результате...

Я пытаюсь создать простое весеннее MVC-приложение в Scala. Я определил свои методы в контроллере...

Я работаю над проектом spark в IDE затмения, используя scala Мне нужна помощь с этой проблемой...

У меня есть следующий набор данных, в настоящее время использующий UDF для суммирования массивов

У меня есть этот Dataframe...

У меня есть кластер со следующими характеристиками: 4 узла 8 ядер на узел 8GB на узел Когда я...

Я пытаюсь прочитать одну строку из таблицы Hive и использовать ее поля в качестве констант в...

Мне нужна функция, которая загружает содержимое URL-адреса, но я не знаю заранее, закодирован ли...

Когда я пытаюсь прочитать файл паркета из указанного места, например / test, с помощью spark.read

Можно ли вызвать метод main в одном объекте из метода main в другом? У меня есть следующие классы,...