Я новичок в spark / scala.У меня есть созданный ниже RDD путем загрузки данных из нескольких путей

Я хочу получить structType из файла json, похожего на этот. "$schema":...

У меня есть файлы orc в моих hdfs.Одним из полей является Карта (Строка, Строка).Каким-то образом в...

У меня есть паркет, который выглядит следующим образом: ------------ name | age | ------------ Tom...

Я пытаюсь добавить столбец в набор данных, вычисляя его из существующего: val...

Рассмотрим следующее перегруженное определение метода mean: def mean[T](data: Iterable[T])(implicit...

Я ищу способ запроса с одного компьютера (клиента) на другом компьютере (удаленный клиент) в Scala

Мне нужно выбрать значения из разных столбцов (разные версии одного и того же столбца, например,...

Вопрос: У меня есть ниже 2 фреймов данных, хранящихся в массиве.Данные уже разделены по SECURITY_ID

Привет ~ Я новичок в искре.Я хочу получить пары со столбцом в кадре данных, каждый элемент в...

У меня есть запись в формате csv, подобная этой: --------------------------- name | age |...

Я писал тест для следующего фрагмента кода, я получаю исключение nullPointerException для тела...

У меня есть большой файл паркета, который записывается ежедневно и разбивается по дате снимка (в...

У меня есть запись в формате csv, и я импортировал ее как фрейм данных: ---------------------------...

Мне нужно внести несколько изменений в алгоритм случайного леса spark mllib.Я получил исходный код...

Я использую partitionBy, но я не совсем понимаю, почему мы должны это использовать. У меня есть...

Я хотел бы получить данные за 1 день из концентратора событий Azure, применить логику и скопировать...

Я новичок в Spark и Scala.Я использую пакет НЛП для анализа книги.Метод НЛП дает результат spark

Файл CSV с разделителями-запятыми. Имеется инфраструктура для приема файла CSV.Заголовок из того же...

У меня есть Java-код для преобразования JavaRDD в Dataset и сохранения его в HDFS:...

Я только что понял, что могу сделать следующее в Scala val df = spark.read.csv("test

Что является лучшей идеей для следующего: У меня есть библиотека Scala, которая работает на BSD...

Я узнаю больше о Scala и Spark, но застрял на том, как структурировать функцию, когда я использую...

У меня есть фрейм данных в pyspark, как показано ниже. df = sqlContext.createDataFrame( [...

У меня есть проект Scala Spark, который я пытаюсь запустить на своем Mac. Когда я запускаю проект в...