Я пытаюсь настроить искру на пряжу на машинах AWS. Мой spark.driver.port - 32975. Я вижу ошибку...

Я понимаю, что когда искра не может поместить все данные в памяти в свой раздел для выполнения...

Я пытаюсь проанализировать набор XML-файлов, используя Scala и Spark. Я получаю данные для 'n'...

Я пытаюсь сравнить две таблицы (), читая как DataFrames. И для каждого общего столбца в этих...

Я создаю SparkSession в Trait, и объект-компаньон расширяет эту особенность. SparkSessionObject

У меня SQL, созданный динамически, и в нем есть несколько поврежденных строк, например,...

Я использую соединитель Cosmos DB для Spark, доступный здесь: Соединитель Azure Cosmos DB для...

У меня в фрейме 1.6 есть фрейм данных, в котором я хотел бы выбрать все строки больше текущего...

Я использую объект RandomForestClassifier для задачи классификации мультикласса. Выходной кадр...

Я пытаюсь написать тестовый пример для программы. Для этого я читаю CSV-файл, содержащий данные в...

Я пытаюсь прочитать, что таблица HIVE содержит данные за 2 года и разбита на сутки, чтение через...

Я пытаюсь сохранить Dataframe в папку HDFS. Но мое спасение занимает много времени. Действие до...

У меня странная проблема с потоком выполнения в кластере. Вызов метода A - Метод B, который в...

Я новичок в разжигании и не имею опыта программирования на Java. Я использую pyspark для обработки...

У меня есть датафрейм только с двумя столбцами. Я пытаюсь преобразовать значения одного столбца в...