Попытка создать пакет с классом package x.y.Log import scala.collection.mutable.ListBuffer import...
Я создаю приложение pyspark, которое имеет модульный характер.Мой код выглядит следующим образом:...
Под заголовком: может ли Spark хранить часть одного раздела RDD / Dataset / DataFrame в памяти и...
У меня есть набор данных со столбцом даты создания. этот столбец обычно имеет формат «дд / мм / гг»...
Я пытаюсь использовать scala / spark для анализа файлов журнала http (488 файлов в одном каталоге)...
Я обнаружил, что каждый раз, когда я запускаю приложение в своем автономном кластере Spark с...
Когда я запускаю запрос GroupBy в spark-shell, он показывает мне отличные результаты, но когда я...
Я получил запись в таблице, как указано ниже. Id Indicator Date 1 R 2018-01-20 1 R 2018-10-21 1 P...
У меня есть CSV-файл, как показано ниже. PK,key,Value 100,col1,val11 100,col2,val12 100,idx,1 100...
Я хотел использовать foreachPartition на фрейме данных, чтобы отправлять данные каждой строки...
Я пытаюсь отправить Snappy Job, используя REST API. Мы смогли отправить SnappyJob с помощью команды...
Я пытаюсь подключить Spark 2.4 к Hive Metastore 3 для каталогизации файлов ORC на S3. Конфигурация...
У меня есть искровой DataFrame, состоящий из 3 столбцов: text1, text2 и number. Я хочу...
Я планирую вставить данные в эластичный поиск с помощью es-hadoop. Все работало нормально, пока в...
Я новичок в Scala, и я в основном хочу выполнить несколько агрегаций для набора данных. Можно ли...
У меня есть следующий фрейм данных с некоторыми столбцами, которые содержат массивы. (Мы используем...
Привет всем, у меня есть ошибка во время выполнения моего кода scala.он говорит java.lang
У меня есть кадр данных, как показано ниже, теперь мне нужно транспонировать вывод данных в виде...
как пройти массив в искровой RDD? var dataResult: Array[Array[String]] = null data1 = hiveContext
Попытка запустить простое приложение Spark, используя мастер Kubernetes. Но я не получаю...
Я пытаюсь сравнить, если два DataFrames имеют одинаковые элементы, и хотя единственная строка,...
Я импортирую некоторые данные из таблицы MS SQL в программу Scala. Таблица MS SQL имеет около 20...
Я читаю файл, разделенный каналом (|). Есть поля с двойными кавычками, которые создают проблемы при...
Я изучаю Apache Spark и HDFS.Я понимаю их обоих по большей части, хотя меня смущает одна вещь.Мой...
У меня есть датафрейм, как показано ниже. Я должен взять ранг строки, в которой для request_typ...