это мой стол: +--------+----+----------+----+ | station|temp| dateS|hour|...

Я стремлюсь эффективно сгладить файл паркета в Spark с помощью Scala.Мне было интересно, какой...

Я пытаюсь запросить Cassandra из Spark, используя CassandraSQLContext, но я получаю странную...

Я знаю преимущества Dataset (безопасность типов и т. Д.), Но я не могу найти никакой документации,...

Я относительно новичок в Spark и Databricks, и у меня есть код ниже, чтобы получить дату в...

С помощью DataFrame.coalesce API мы можем уменьшить количество разделов, я хочу, чтобы такая же...

Я хочу сделать подсчет за окном. Результат подсчета агрегации должен быть сохранен в новом столбце:...

У меня есть RDD (RDD [(String, Iterable [Event])], ключ которого представляет месяц в году, а...

У меня локальная установка Кассандры.Мне нужно работать в Spark с Google Colab и выполнять запросы...

Я написал метод фильтрации кадра данных с использованием выражений SQL.Так как некоторые sqlStr...

На самом деле я работаю над дирижаблем с искрой и скалой. Я хочу импортировать библиотеку, которая...

Мой контекст таков, что у меня есть специальный приемник искры, который получает поток данных от...

Я пытаюсь создать собственный преобразователь для своей модели, используя PySpark & ​​Spark 2.2. Я...

Шаг 1. Я создал Dataframe df с двумя столбцами «COLUMN A» и «COLUMN B» типа string. Шаг 2: Я создал...

Я использую typesafe.Config для загрузки application.conf в моем классе Scala, и с помощью этого...

Моя проблема в следующем, я хочу объединить некоторые данные, которые хранятся на S3.В качестве...

Я пытаюсь передать всю строку в spark udf вместе с несколькими другими аргументами. Я не использую...

В нашем приложении Spark-Scala мы хотим использовать типизированные наборы данных. Есть операция...

Ниже приведен пример тестового кода и его вывод. Я вижу, что java bigDecimal хранит все цифры, в то...

У меня есть отдельный искровой кластер, где я запускаю несколько искровых заданий. Я назначил 1...

У меня есть требование обрабатывать плоские файлы, сгенерированные из нашей производственной...

Я пытаюсь передать metrics.properties свече emr: оставить ее в папке resource работает только...

У нас есть данные (статические) с (приблизительно) 20M строками и 50,000 столбцами. Это редкие...

У меня есть List [String], как показано ниже val colList = List(verifyLength($"col1",...

Я выполняю задание Spark с очень большими этапами (например,> 20 тыс. Заданий) и выполняю его с...