У меня есть некоторые данные, как показано ниже:...

У меня есть фрейм данных, и я хочу записать его как массив json в один файл в Scala. попытка 1:...

У нас есть некоторые исторические данные, поставленные в очередь по нашим темам, мы не хотим...

Я делаю ката на Scala.Я все еще начинаю изучать этот язык и пытаюсь сделать что-то функциональным...

Я могу придумать несколько неправильных способов сделать это, но я пытаюсь найти лучший способ...

[Решено!] Я использую spark2.3.1 и scala2.12, ссылаясь на эту страницу: http://spark.apache

В scala, я думаю, поле объекта будет статичным и не будет сериализовано при сериализации, но если...

Я знаю, что count, вызываемый на RDD или DataFrame, является действием.Но, возясь с оболочкой искры...

Я пытаюсь прочитать JSON в набор данных (спарк 2.3.2).К сожалению, это не работает хорошо. Вот...

Я новичок в библиотеке scala-cats, Изначально я создал общий код, который объединяет монады в...

Я пытаюсь перехватить события Кафки (которые я получаю в сериализованной форме), используя...

У меня есть файл json в HDFS, я прочитал его: var data = sqlContext.read.json("/.....")...

У меня есть список идентификатора в текстовом файле = id1, id2, id3 и т. Д. val IDList = sc

(проблема уже решена!) Я пытаюсь использовать «Программирующее задание схемы» (http://spark.apache

Я использую spark2.3 и scala 2.11. Я создал dataFrame и могу использовать функцию...

Я новичок в spark и пытаюсь использовать spark для чтения json-файла следующим образом.Используя...

Я создал авросхему, используя SchemaConverter в scala / spark.Теперь мне нужно изменить некоторые...

Ищите предложения по потоковой передаче искры.Я передаю данные с помощью kafka и сохраняю результат...

У меня есть следующий Spark DataFrame, которым я манипулирую в блокноте данных, давайте назовем...

Я анализирую файл CSV в набор данных SQL SQL с определенным форматом.Некоторые из этих объектов я...

Я определил var status:String = null; var error_msg:String = null; try{ status ="Error";...

Часть моей искровой работы: val kafkaParams = Map[String, Object]( "key.deserializer"...

Я пытаюсь ускорить и ограничить стоимость взятия нескольких столбцов и их значений и вставки их в...

Из-за риска получить отрицательный голос, я должен попросить помощи по этой ошибке.Я запускаю...

Как я могу фильтровать в отображении? Пример: test1 = sc.parallelize(Array(('a', (1...