Предположим, у меня есть фрейм данных Spark с именем trades, который имеет в своей схеме несколько...

Мне необходимо периодически выполнять задания ETL для файлов, хранящихся на AWS S3. Чтобы не...

Я хочу отсортировать значения Double в СДР и хочу, чтобы моя функция сортировки игнорировала...

Я пытаюсь найти класс case, соответствующий каждой строке моего файла json. У меня как ошибка:...

Я больше не могу сохранить таблицу в базе данных улья, используя metastore.Я вижу таблицы в spark,...

Моя проблема в этом.У меня есть пользовательский фрейм данных, созданный из записей netflow,...

Сохраняю смещение темы Кафка в таблице на Hbase.Я использую эту тему для запланированного задания...

1. Потоковые данные поступают из Кафки 2.Потребление через потоковую передачу с использованием...

Когда я использую «Stream Streaming» для чтения «kafka» (требующего проверки sasl) и затем сохраняю...

У меня есть один API, который выполняет операцию удаления на фрейме данных, как показано ниже def...

У меня есть файл orc, при чтении с опцией ниже он читает все столбцы. val df= spark.read

Я получаю много дублирующихся столбцов после объединения двух фреймов данных, теперь я хочу удалить...

Допустим, у нас есть следующий сценарий: val df: DataFrame = dataframe val df2 = df

Я использую 2.4.0 Spark-core и Spark-sql. Я пытаюсь создать sparkSession, затем создать диапазон и...

У меня есть одно имя записной книжки "paths", и я хочу использовать некоторые из объявленных в ней...

Пытаюсь использовать перекрестное применение в блокноте блоков данных Azure, выдает ошибку, что...

Я разработал приложение для потоковой передачи искры (x) с прямым доступом.Я могу запустить только...

Я работаю над получением данных из исходной БД в HDFS в формате avro. используя пакет spark-avro,...

В Scala, учитывая двоичный файл, я заинтересован в получении списка элементов Array [Byte]....

Я пытаюсь использовать spark для выполнения запросов к таблице улья.Я следил за множеством статей,...

Может кто-нибудь подскажите, пожалуйста, как подключиться к HBase из спарка с помощью kerberos. Я...

Я пытаюсь отправить приложение в мой удаленный кластер Spark 2.3.2 (к которому я могу получить...

Я экспериментирую с Spark2.3 на кластере K8s. Хотите знать, как работает контрольно-пропускной...

Мой сценарий Spark терпит неудачу, потому что корзина S3, из которой извлекается df, обновляется...

У меня есть Elasticsearch 6.4.2 и Spark 2.2.0 В настоящее время у меня есть рабочий пример , где я...