У меня есть один фрейм данных, который имеет много столбцов почти 100 плюс (как показано ниже),...

У меня есть таблица HBase, которая выглядит следующим образом в статическом Dataframe как...

Мы запускаем наше приложение обработки данных Spark / Scala в 12-узловом кластере EMR.Есть...

У меня есть данные в файле Parquet и я хочу применить к нему пользовательскую схему. Мои исходные...

Я пытаюсь прочитать файл с разделителями, разделенный табуляцией, но не могу прочитать все записи....

Когда я даю номер столбца как любое число 'n', он должен создать фрейм данных с таким количеством...

Искровая версия 2.3.1.Библиотека Spark-Mlib предоставляет класс BinaryClassificationEvaluator (...

Я использую slick 3.2.3 и пытаюсь создать запрос, который возвращает Seq[Entity1, Seq[Entity2]] для...

Я пытаюсь внедрить накопительный продукт в Spark Scala, но я действительно не знаю, как это сделать

У меня есть df, в котором есть столбец id (bigint), и мне нужно отфильтровать эти идентификаторы из...

Можно ли сериализовать Scala Future в byte[] и затем снова десериализовать его?. И если это...

Я пытаюсь запустить мой код spark scala, используя spark submit.Я хочу получить доступ к искровому...

Существует четыре типа: местоположение, язык, технология и промышленность.Для каждого типа...

Я разрабатывал пакет R для порядковых и монотонных данных с именем OCAPIS , но алгоритмы в основном...

Я пишу свой искровой вывод, как показано ниже pairedRDD.partitionBy(new...

Я не хочу объединять две макроаннотации.Он прекрасно компилируется, но попытка использовать любой...

У меня есть csv-файл, заархивированный в формате bz2, как и у unix / linux, есть ли у нас...

У меня есть текстовый файл, который я хотел бы преобразовать в матрицу совместного использования.Я...

Я изучаю Spark в Scala из-за сильного злоупотребления Python и получаю java.lang

Я знаю, что существуют варианты кросс-сборки для генерации различных версий API Scala, работающих с...

Предположим, я составляю строку из некоторой линейной структуры данных Char, например, List, Array...

У меня есть таблица (test) в hbase с двумя семействами столбцов (cf1, cf2), теперь я хочу добавить...

Я пытаюсь ускорить фильтрацию на , избегая десериализации каждой строки , так как мой набор данных...

Сценарий: У меня есть senario, где мне нужно вызывать класс Processor один за другим, которые...

Итак.По сути, это моя проблема. Я установил структурированные данные Spark SQL val hiveQ =...