Используйте sparkSession. Когда я читаю файл паркета, я получаю следующую ошибку: мой код: val df =...

Я хочу развернуть и отправить программу spark, используя sbt, но с ее ошибкой. Код: package in.goai

У меня есть два следующих кадра данных df1 +--------+----------------------------- |id | amount |...

У меня возникли некоторые проблемы с получением следующего примера для компиляции. import scala

Не удается запустить Spark. Мы используем Cloudera CDH 5.14.2 с Java 1.8.0_91. Мы не уверены, какие...

Я использую библиотеку Java из кода Scala 2.11.Эта библиотека Java имеет статический метод load,...

У меня есть код Scala для вычисления нового столбца с использованием функции withcolumn в моем...

Я довольно плохо знаком с scala и spark, но у меня большой опыт работы с Python и другими языками.У...

PRODUCT_ID_FETR_MAP из df имеет тип карты (ключ: Int, значение: struct). Я хочу преобразовать этот...

Динамическое разбиение, введенное в Spark 2.3, похоже, не работает на AWS EMR 5.13.0 при записи в...

У меня есть следующая схема: { "name": "AgentRecommendationList",...

Может кто-нибудь помочь мне понять, что не так с кодом ниже? case class Point(x: Double, y: Double)...

Я пытаюсь написать пользовательскую скалярную функцию во Flink, которая принимает несколько...

Я использую Spring Framework для создания API для запроса некоторых из моих таблиц в Hadoop.Я...

У меня есть следующее значение: val a = (1 to 10).toVector И я хочу определить следующую функцию:...

Я использую RDD [LabeledPoint] в своем коде. Но теперь я должен нормализовать данные, используя...

Я записываю свои данные в Kibana из Spark, создав карту.Мой тип данных List[Seq[String]].Но вместо...

Я пытался запустить эту программу spark в оболочке spark, но она выдает эту ошибку, я уже...

Или просто для простоты понимания, у меня есть фрейм данных. DataPartition TimeStamp OrganizationID...

Есть таблица с ключом, значениями. Есть еще одна таблица с автоматическим увеличением PK. Возьмите...

У меня есть универсальный класс в Java - RequestWrapper.java package com.wipro.nepc.coe

У меня есть два кадра данных. Фрейм данных один...

org.apache.spark.SparkException: задание прервано из-за сбоя этапа: сбой задачи 0 на этапе 2.0 4...

У меня есть два кадра данных. df1 +--------+------------------- |id | amount | fee | |1 | 10.00 | 5

код выглядит следующим образом: val tokenizer = new RegexTokenizer()