Я пытаюсь построить старый проект. Проект зависит от пакета Java, найденного в sparrow-1.0.jar Я...

Я начинаю использовать Spark со Scala в записной книжке dataBricks, однако у меня появляется...

Я мигрирую из Spark 1.6 в Spark 2.1.Во время сборки maven я столкнулся с этой ошибкой в ​​одном из...

Я застрял из-за проблемы класса импорта. В моем случае мой класс зависит от Apache Common...

У меня есть таблица на Hive, которая содержит 920 649 653 записей. Я хотел бы вставить эту таблицу...

Исходя из того, что здесь описано , я должен сериализовать ZonedDateTime объект, используя...

Агрегация на фрейме данных Spark с несколькими операциями динамического агрегирования. Я хочу...

Я использую https://doc.akka.io/docs/alpakka-kafka/current/consumer.html для получения данных из...

Я использую scala 2.11, slick 2.1.0 и postgres 9.6.Об обновлении основной версии не может быть и...

При реализации log4j2 я получаю класс класса ERROR org.apache.logging.log4j.core.pattern

Я хочу запустить UDAF для groupBy, который будет состоять из всех значений для каждого ключа,...

Моя цель - создать класс MyDataFrame, который будет знать, как извлекать данные по заданному пути,...

Я пытаюсь использовать Spark для изучения мультиклассовой логистической регрессии в оконном...

У меня есть класс дела как case class Attendance(List(name,totalDay)) , и у меня есть три...

Я работаю над SCDTYPE2 в Spark Scala, поэтому мой код будет каждый день создавать новый фрейм...

Я пытаюсь экспортировать набор данных avro со столбцами, которые все соответствуют таблице в...

Может кто-нибудь знать, как получить первичный ключ в качестве опции при левом соединении с...

У меня есть класс в Java, в котором я дал некоторые константы в качестве enum, и у меня есть...

Мне нужно использовать количество данных в качестве делителя для расчета процентов. Вот что я...

Я пытаюсь заменить пустые или недействительные значения, присутствующие в столбце, на выше или ниже...

Во время работы приложения искры я получаю ошибки глубоко внутри катализатора. Например: java.lang

Допустим, у меня есть некоторые данные в "глупых" моделях.В этом примере я буду использовать Circle...

Я хочу преобразовать clientIPInt (в формате Int, да!) В отдельный столбец после применения к нему...

Так что это похоже на вопрос интервью, но это не так.Прежде чем пометить это как дубликат,...

У меня есть старый фрейм данных с данными.давайте назовем это dfOld.У меня есть входящий фрейм...