У меня есть данные в фрейме данных, которые были получены из Azure EventHub.Затем я преобразовываю...

Я работаю над группировкой адресов, где есть несколько типов адресов, но мне нужно сгруппировать их...

Скажем, у меня есть набор данных: Dataset<Row> sqlDF = this.spark.sql("SELECT first_name...

Я получаю набор данных, и мне необходимо join с другой таблицей.Следовательно, самое простое...

Хорошо, поэтому мне известно о том, что Dataset.as[U] просто меняет представление кадра данных для...

Я сталкиваюсь с искровым кодом для процесса ETL, в котором написаны длинные сложные SQL-операторы,...

Я использую приведенный ниже код для запуска в Qubole Notebook, и код выполняется успешно. case...

У меня есть спарк Java-код, который работает хорошо в spark-core_2.11 v2.2.0, но выдает исключение...

Здесь у меня есть оценки учеников, как показано ниже, и я хочу транспонировать столбец имени...

Я работаю над конвейером Spark ML, где мы получаем ошибки OOM для больших наборов данных.До...

У меня есть таблица с двумя столбцами, как показано ниже: |а |b | |1 |2 | |2 |3 | |3 |4 | |7 |8 |...

У меня есть несколько больших фреймов данных (около 30 ГБ), называемых as и bs, относительно...

Я создал набор данных Spark из CSV-файла. Схема: |-- FirstName: string (nullable = true)<br>...

У меня есть сценарий использования, в котором я должен проверить, является ли значение поля длинным...

Я пытаюсь найти способ в Java динамически / программно (это слово?) Построить WindowSpec, чтобы я...

Мне нужно прочитать несколько наборов данных по 5 гигабайт каждый.Каждый каталог directoryPath...

Пример набора данных B7J;B7J Realty Corp;[street#939 W El Camino,city#Chicago,state#IL] AGC;AGC...

Я работаю над проектом, в котором у меня около 500 имен столбцов, но мне нужно применить функцию...

Я новичок в Spark, и у меня есть Apache SparkSQL DataFrame df с 4 столбцами, имеющий следующую...

У меня более 50 разных классов, и каждый из них привязан к разному источнику паркета val cc1ds =...

У меня есть фрейм данных, через который я хочу перебрать, но я не хочу конвертировать фрейм данных...

У меня есть два набора данных AccountData и CustomerData , с соответствующими классами дел: case...

Я использую Java Spark для статистики набора данных. Мне нужно объединить набор данных по множеству...

У меня есть следующий класс дел: case class Person(name: String, lastname: Option[String] = None,...

У меня есть схема structType, мне нужно упорядочить / отсортировать схему на основе имени поля,...