Я использую spark 2.3 (с включенной поддержкой Hive), и я хочу получить доступ и установить во...

В чем разница между добавлением и перезаписью к паркету в искре.Я обрабатываю огромное количество...

Я новичок в spark, я пытаюсь прочитать таблицу из оракула в hdfs файл parquet farmat ... Моя...

Я новичок в Spark и Scala и хочу оптимизировать запрос, который я написал для Spark, который очень...

Мы новички в Spark и теперь используем его для чтения сообщений Kafka в стиле JavaInputDStream,...

Как указано здесь Свойства Spark в основном можно разделить на два вида: один относится к...

У меня есть таблица Cassandra из нескольких столбцов, и я хочу обновить один из них (а также что...

У меня есть кластер пряжи Hortonworks с Spark 2.1. Однако я хочу запустить свое приложение с...

Я использую Spark 2.3 и загружаю данные из таблиц MySQL. Я хотел бы знать, есть ли функция...

Я использую Spark 2.3 и загружаю данные из MySQL с помощью jdbc, как показано ниже val...

У меня есть (большой ~ 1 миллион) фрейм данных Scala Spark со следующими данными: id,score 1,0.956...

В Spark я установил все параметры Оценщика, используя сеттеры.Теперь я хочу скопировать все эти...

Я знаю, что связанная с искрой конфигурация может быть получена через файл spark-env.sh, какова...

Из искрового документа load(): DataFrame load(path: String): DataFrame load(paths: String*):...

Я пытаюсь получить данные из Postgresql в моем приложении spark. Но теперь я не совсем понимаю, как...

Я попытался передать DataFrame, который оказался больше spark.sql.autoBroadcastJoinThreshold, и...

Я использую Stream-Streaming (версия 2.2) в кластере пряжи и пытаюсь включить динамическое...

У меня есть регулярное выражение (.*)?start((?!(foo|boo)).)* end test.*. Что он делает, так это...

Вот код потоковой передачи, который я запускаю, после запуска в течение двух дней он автоматически...

Мне нужно выполнить обработку строк данных с сохранением состояния.Для этого мне нужно создать...

У меня есть таблица test, зарегистрированная с DataFrame с использованием registerTempTable. И я...

Я недавно начал использовать scala spark, в частности, я пытаюсь использовать GraphX ​​для создания...

У моего клиента есть коннектор AD, настроенный на Jupyterhub, установленный на AWS EMR, чтобы...

У меня действительно большой SQL-запрос на HIVE, который нужно перенести для запуска. Можно ли...

Я пытаюсь использовать секционированный S3A (или каталог, поскольку мне просто нужно подтвердить,...