spark-submit --master yarn --deploy-mode cluster sqlserver.py --jars sqljdbc42.jar Я получаю...

Я следовал за Spark в блоге Kubernetes , но дошел до того, что он запускает задание, но не работает...

У меня проблемы с памятью, но я не могу ее решить.Любая помощь высоко ценится.Я новичок в...

В соответствии с таким количеством хороших ресурсов, желательно переразбить RDD после работы...

Я использую Spark со Scala и хочу передать всю строку в udf и выбрать для каждого имени столбца и...

Я пытался запустить hql-файлы, как показано ниже, но получаю сообщение об ошибке...

Мне нужно вычислить несколько агрегатов для каждой таблицы в базе данных Hive.Мой код выглядит...

Каков будет рекомендуемый подход, чтобы дождаться, пока модуль искрового драйвера завершит текущее...

У меня есть pyspark для загрузки данных из файла TSV и сохранения его в виде файла паркета, а также...

Мне нужно отправить файл py с API Apache Spark Hidden REST. Как я следовал учебнику arturmkrtchyan ...

рассмотрите возможность запроса данных улья изнутри искры, используя val selectMemCntQry =...

Объединить строки в искровом кадре данных У меня есть данные, подобные следующим ID Name Passport...

Я использую sparklyr для манипулирования некоторыми данными.Учитывая, a<-tibble(id = rep(c(1,10)...

У меня есть таблица, описание которой выглядит следующим образом: # col_name data_type comment id...

Я хочу измерить производительность udf на большом наборе данных.SQL искры: spark.sql("SELECT...

У меня есть простой кластер Hadoop, состоящий из одного главного узла и двух подчиненных узлов.Я...

Я начал использовать sparklyr для обработки данных большого размера, поэтому мне нужно использовать...

Я делаю проект для школы на предоставленном небольшом кластере (4 узла, 1 - это namenode и spark...

Мне говорят, что рекомендуемое количество рабочих для установки - одно на ядро ​​при использовании...

Я пытаюсь загрузить данные нескольких файлов JSON в HIVE, используя spark-shell и Scala. import org

Привет У меня есть требование к созданию столбца на основе нескольких , когда операторов. df

Можете ли вы помочь, если в scala есть какой-либо udf, эквивалентный add_months в sql....

У меня есть датафрейм в Spark: customer | age -------------------- A 25 B 17 C 8 , где столбец...

У меня есть фрейм данных: customer | Department ---------------------- A | Food B | Home A | Office...

у меня в кадре есть датафрейм: Col_A | Col_B -------------- A | 1,6,5,3,7 B | 17,18,78 C | 90 D |...