Имеют два кадра данных, как показано ниже first_df |-- company_id: string (nullable = true) |--...

Я работаю над некоторым назначением, где у нас есть две таблицы с одинаковыми / разными столбцами....

Я новичок в Spark, и у меня есть Apache SparkSQL DataFrame df с 4 столбцами, имеющий следующую...

Я запускаю искровую оболочку с искрой 2.3.1 со следующими параметрами:...

Я пытаюсь подключиться к Hive с помощью Spark-SQL, но не могу прочитать таблицы из улья. Версия...

У меня очень широкий df с большим количеством столбцов.Мне нужно получить количество ненулевых...

Я запускаю программу зажигания с --conf spark.sql.shuffle.partitions=100 Внутри приложения у меня...

Наше приложение обрабатывает потоковые данные, которые записываются в файлы паркета. Время от...

Я планирую использовать SparkSQL (не pySpark) поверх данных в Amazon S3.Поэтому я считаю, что мне...

У меня есть CSV с заголовком со столбцами с тем же именем. Я хочу обработать их с помощью spark,...

Я новичок и у меня есть данные в следующем формате Категория, Подкатегория, Имя Food,Thai...

У меня есть столбец date в фрейме данных pySpark с датами в следующем формате: 2018-02-01T13:13:12

Я столкнулся с проблемой, когда мне нужно создать набор данных в Java Spark с использованием файла...

У меня есть этот вариант использования для автоматизированного задания SparkSQL, где я хочу сделать...

У меня есть следующие кадры данных: accumulated_results_df |-- company_id: string (nullable = true)...

| ID|CO_ID| DATA| +--------------------+--------------------+----+...

У меня есть набор данных spark sparkDSDS Dataset<Row>, как показано ниже...

Я новичок в использовании фреймов данных Spark. Я пытаюсь использовать метод pivot со Spark (Spark...

Я пытаюсь выяснить, почему мои 15 ГБ таблицы увеличиваются до 182 ГБ, когда я запускаю простой...

У меня есть сценарий использования, в котором я бы предпочел, чтобы все подключенные данные (для...

Я пытаюсь создать новый столбец из кадра данных, который, скажем, выглядит как...

В pyspark у меня есть массив переменной длины, для которого я хотел бы найти среднее значение

Я пишу библиотеку в Scala для локальной обработки данных.Я хотел бы включить некоторые из функций,...

Я хочу взять DF и удвоить каждый столбец (с новым именем столбца). Я хочу провести «Стресс-тесты»...

df.na.fill и df.na.replace не работают, если имя столбца имеет символ .. val df = List((1...