У меня есть программа Scala, которую я хочу выполнить, используя оболочку Spark, теперь, когда я...

Как сохранить историю Spark Worker и Master Node, такую ​​как завершенные приложения, завершенные...

Может ли кто-нибудь помочь с синтаксисом о том, как создать искровой фрейм данных из внешней...

Я использовал код ниже: JavaRDD<LabeledPoint> data = textData.map(s -> new...

У меня есть фрейм данных со строковым столбцом: day и другими столбцами.Я хочу сделать что-то вроде...

Это журнал сообщения об ошибке, которое я получаю при развертывании искрового задания в кластере...

У нас есть вложенная (на нескольких уровнях) json в качестве схемы паркета.Схема используется для...

У меня есть фрейм данных, в котором есть столбец, представляющий собой строку JSON from pyspark.sql...

Я запустил сервер spark-thrift без hive.Это работает хорошо, и я могу использовать tableau для...

var countryMap = Map("Amy" -> "Canada", "Sam" -> "US",...

Я хочу преобразовать пустые значения, вложенные в массив строк, в пустые строки в искре.Данные...

Я выполнил задание на искру, которое получает данные из двух источников, например: / home / hadoop...

Я получаю набор данных, и мне необходимо join с другой таблицей.Следовательно, самое простое...

Хорошо, поэтому мне известно о том, что Dataset.as[U] просто меняет представление кадра данных для...

Я пытаюсь добавить данные в кафку из моего кода искры.Можно ли как-нибудь добавить обратные вызовы...

Если у меня есть столбец чисел, как мне их умножить? val numbers = Seq((2, 7),(1, 9),(10, 0))

У меня такая ситуация: scala> val values = Seq((7,-1),(null,null),(1,0),(null,3),(2,5),(-1...

У меня есть таблица улья, которая разделена полем 'date' я хочу написать запрос, чтобы получить...

Я устанавливаю потоковую передачу с искрой, где данные будут считываться из корзины S3, и будет...

У нас есть сценарий, в котором мы должны объединить несколько таблиц из разных источников.Например,...

Мы пытаемся сравнить TPC-H (масштабный коэффициент 1) на кластере Raspberry Pi 3B + с 13 узлами (1...

У меня есть этот фрейм данных. id name date1 date2 ---------------------------------------- 1 AAA...

Я читаю поток Твиттера из моей темы Kafka при преобразовании его в JSON в коде Pyspark, данные...

Я хочу написать файл csv на S3, который должен быть сформирован из dataframe.Я попытался сохранить...

Суммируется на дату начала недели (понедельник) за всю неделю. оконная функция, мы не можем...