У меня есть набор 1 млн. XML-файлов, каждый из которых имеет размер ~ 14 КБ в хранилище...

У меня есть это приложение Spark, которое принимает поток Twitter. Я добавил столбец времени:...

У меня есть приложение, которое генерирует несколько сеансов, каждый из которых содержит несколько...

Это может быть глупый вопрос, но я боролся в течение довольно долгого времени.Это действительно...

У меня есть Rdd "labResults" объектов: case class LabResult(patientID: String, date: Long, labName:...

У меня есть следующий пакетный скрипт SLURM: #!/bin/bash #SBATCH --account=def-bib #SBATCH...

У меня есть фрейм данных с именем ipTraffic со схемой: ipTraffic: org.apache.spark.sql.DataFrame =...

У меня проблема с выборкой данных в спарк.Попытка выборки моих данных с постоянным процентом (1%)...

У меня есть фрейм данных, который дает набор номеров идентификаторов и дату, в которую они посетили...

Я использую spark 2.3.1 и kafka 0.10 с приведенными ниже зависимостями: kafka-avro-serializer-3.2.1

Я пытаюсь преобразовать RDD в Dataframe без использования case-класса.CSV-файл выглядит следующим...

Я могу объяснить, как работает широковещательное соединение, и эта статья хорошо объясняет это:...

Я запускаю приложение в кластере Spark, используя режим клиента YARN с 4 узлами.Кроме главного узла...

У меня есть сомнения в некоторых кодах, которые я читал.Они обозначают «разделы» как «карты» (думая...

Я использую данные из kafka через потоковую структурированную искру и пытаюсь записать их в 3...

Пожалуйста, вы можете мне помочь?После настройки искрового интерпретатора для работы в кластере...

У меня есть набор данных (ds), который выглядит как scala> ds.show()...

Подключение к потоковой передаче с использованием внешнего источника, такого как сервер MS SQL, и...

У меня есть 2 столбца свечей Scala DataFrame.Первая имеет одну переменную, вторая представляет...

Я новенький файлы сборки scala и SBT.Из вводных руководств добавление спарк-зависимостей в проект...

Я пытаюсь использовать следующий код для загрузки нескольких файлов из HDFS: val data = spark .read...

Не могли бы вы объяснить, как эта сложная концепция работает на примере? Из вики hive: Объединения...

Проблема с Spark 2.4 на EMR 5.20 в AWS. У меня есть строковый столбец как раздел, в котором есть...

Я выполняю свой код в производственном процессе, и он выполняется в большинстве случаев успешно, но...

В моем искровом коде есть RDD[Person], и я хочу преобразовать этот rdd в dataframe.Класс Person не...