Я запускаю сценарий pyspark, используя spark-submit.Задание выполняется успешно. Теперь я пытаюсь...

У меня есть 10 миллионов записей данных. Мое требование - мне нужно выполнить некоторые операции с...

У меня есть два процесса каждый процесс 1) подключить oracle db прочитать конкретную таблицу 2)...

Мы обновили кластер HDP до 3.1.1.3.0.1.0-187 и обнаружили: У улья новое местоположение метастаза...

У меня возникли проблемы с именами по умолчанию (импортированными из полученных файлов .csv) имен...

[New to Spark] Язык - Scala В соответствии с документами RangePartitioner сортирует и разделяет...

У меня проблема с использованием Python на Spark.Я хочу использовать Панд на Spark, и я не нахожу...

Я читаю JSON как: val df = spark.read.json(rdd) Я читаю сообщения из разных тем, поэтому не могу...

Я пытаюсь использовать pandas_udf. У меня есть Spark DataFrame, в котором у меня есть столбец...

Я использую свое искровое приложение для пряжи. Можно ли получить идентификатор приложения для...

Я пытаюсь написать подзапрос в предложении where, как показано ниже.Но я получаю "Коррелированный...

У меня есть Static DataFrame с миллионами строк следующим образом. Static DataFrame: --------------...

Я читаю около 1 млн. Записей / партий от Kafka с использованием потоковой передачи искры (подход...

df.select($"onenews".getItem(1), $"onenews").show(5,false) результат показывает...

Я написал ниже код для группировки и объединения столбцов val gmList = List("gc1"...

У меня есть один фрейм данных, который имеет много столбцов почти 100 плюс (как показано ниже),...

Уважаемые, Я извлекаю данные из таблицы Hive во фрейм данных с искрой, а затем преобразую в pandas....

У меня есть таблица HBase, которая выглядит следующим образом в статическом Dataframe как...

Мы запускаем наше приложение обработки данных Spark / Scala в 12-узловом кластере EMR.Есть...

У меня есть данные в файле Parquet и я хочу применить к нему пользовательскую схему. Мои исходные...

Я использую spark и мне нужно применить файлы cdc из реплики базы данных к файлу паркета, как...

У меня есть искровой фрейм с 10 миллионами записей и 150 столбцами.Я пытаюсь преобразовать его в...

У меня есть скрипт spark-scala, который я запускаю в spark-shell spark2-shell -i test.scala...

Я пытаюсь прочитать файл с разделителями, разделенный табуляцией, но не могу прочитать все записи....

У меня есть файл (csv), который при чтении в искровом фрейме данных имеет следующие значения для...