Я использую Spark 1.6 с Scala. Я создал Dataframe, который выглядит следующим образом. DATA SKU,...

У меня есть задания Spark, работающие в кластере EMR. EMR использует AWS Glue в качестве метастафа...

Я хочу читать и писать, используя структурированную потоковую передачу в Confluent Cloud. Проблема...

У меня есть 3 фрейма данных 'u', 'join5' и site. Вот схема данных фрейма 'u'. scala> println(u

Я пишу искровой DataFrame в S3 с использованием метода write, и мне было интересно, есть ли способ...

Я пытаюсь удалить заголовок из указанного входного файла. Но я не смог этого сделать. Че то я и...

Я пытаюсь загрузить некоторые CSV-файлы из корзины S3 для запуска фрейма данных с помощью EMR....

У меня есть датафрейм с одним из столбцов в качестве эпохи. Я хочу извлечь из него только час и...

Я новичок в докеревид сбит с толку о концепции докер-контейнера Я пытаюсь использовать искру ниже...

У меня есть конвейер Spark ML, который мне нужно развернуть как сериализованную модель MLeap....

Отправка этого вопроса, чтобы узнать, как Apache Spark собирает и координирует результаты от...

У меня есть набор данных из списка строк, мне нужно создать новый набор данных из вышеупомянутого,...

Я использую kafkaUtils.createDirectStream () в потоковой передаче искры. Этот метод поможет мне...

Я новичок в Spark и mapreduce. Я хочу попросить о помощи, есть ли какой-нибудь элегантный способ...

Я использую Spark на YARN с Ambari 2.7.4 HDP Автономный 3.1.4 Spark 2.3.2 Hadoop 3.1.1 Графит на...

У меня есть некоторые данные о рейсе / пассажире, и я пытаюсь найти максимальное количество стран,...

Вот моя конфигурация кластера : Главные узлы: 1 (16 ВЦП, 64 ГБ памяти) Рабочие узлы: 2 (всего 64...

Я использую потоковую трансляцию для создания конвейера данных в реальном времени. Я получаю данные...

Я пытаюсь получить лучшие n записей из приведенного ниже набора результатов. Но я не мог получить...

Я хотел подключить AWS Athena как Hive от Scala Spark. Может, кто-нибудь предоставит мне пример...

Вот мой вариант использования: У меня есть некоторые данные, хранящиеся в Hadoop (файлы HDFS, а...

Я новичок в Scala и изучаю Spark со Scala. Проблема -> У меня есть простой файл JSON, имеющий 20...

Я новичок в спарке и пытаюсь ускорить добавление содержимого фрейма данных (который может иметь от...

Мне нужен кодировщик, который работает с моей функцией карты, которая берет строку и возвращает...

У меня есть столбец, который я хочу очистить, используя множество регулярных выражений, которые я...