Я хочу записать свою коллекцию в файл .parquet, чтобы впоследствии ее можно было прочитать с...

У меня есть алгоритм рекурсивного искрения, который применяет скользящее окно из 10 дней к набору...

Для простоты предположим, что у нас есть кадр данных, содержащий следующие данные:...

Здравствуйте, я использую hive on spark для выполнения этого запроса: INSERT INTO db.table2...

Мне нужно понять, как будет выполняться запрос улья в кластере Spark.Он будет работать как задание...

Версия Spark: 2.3 hadoop dist: azure Hdinsight 2.6.5 Платформа: Azure Хранилище: BLOB Узлы в...

У меня большой проект со Spark с использованием Java.Я прочитал CSV-файл с более чем 1.000.000...

Когда я устанавливаю коллекцию как широковещательные переменные, она всегда возвращает мне ошибку...

Я получаю неравномерный размер тем Кафки.Мы хотим перераспределить входной RDD на основе некоторой...

Я пытаюсь прочитать тему Kafka из кластера Spark с использованием API-интерфейса структурированной...

Я изучаю нижеприведенные опции для повторного выполнения scala scode, представленного в...

Заранее прошу прощения за долгое чтение.Мы ценим ваше терпение. У меня есть два числа A и B, а...

Я хочу написать общий сценарий, который может выполнять запросы SQL для файла, который не имеет...

Сначала я попробовал все по ссылке ниже, чтобы исправить мою ошибку, но ни одна из них не сработала

Мы пытаемся запустить INSERT SQL для HIVE с данными, поступающими из кадра данных в Spark.В...

Я пытаюсь подключиться к базе данных SQL из spark, и я использовал следующие команды: scala>...

В Databricks я использую следующий код для извлечения данных из Oracle. %scala val empDF = spark

Метод 1: Запрос файла паркета напрямую как: val sqlDF = spark.sql("SELECT columns FROM parquet

У меня есть базовый DataFrame, содержащий все данные, и несколько производных DataFrames, которые я...

Я пытаюсь сделать простой подсчет и группировать данные в наборе искр.Однако каждый раз, когда один...

Я хочу найти разницу во времени в 2 ячейки. С arrays в python я бы сделал for loop st[i+1] - st[i]...

У меня есть объект scala, передаваемый методу dashBoardInsert, и я провел перекрестную проверку,...

Я использую spark 2.3.0 и последнюю версию spark-jobserver.У меня есть эти параметры сериализации в...

У меня есть отдельный Spark кластер (который состоит из двух рабочих с 2 ядрами в каждом).Я...

В нашем приложении мы используем структурированную потоковую передачу с MapGroupWithState в...