Мы знаем, что df.columns предоставляет имена столбцов, df.dtypes предоставляет имена столбцов и их...

Я использую PySpark (2.3) в кластере Dataproc с 3 узла (4 процессора) 8 ГБ памяти каждый. Данные...

Недавно я начал использовать Apache Spark для сортировки большого количества данных. В моих...

У меня есть некоторый фрейм данных, который имеет миллионы строк. Мне нужно выбрать все строки из...

Я изучаю spark + scala с intelliJ, начав с небольшого фрагмента кода import org.apache.spark

У меня есть пример таблицы, как показано ниже (у меня есть 1 миллион таких строк), из этого мне...

Я получил следующую ошибку в моей .describe() функции с использованием PySpark. Кажется, все...

Я работаю над Spark Scala, и существует требование сохранить Map[String, String] на диск, чтобы...

Я установил Spark 2.3.0 в Ubuntu 18.04 с двумя узлами: основным (ip: 172.16.10.20) и подчиненным...

У меня есть файл типа json (не настоящая структура json), но я преобразовал его в json и прочитал...

Предположим, у нас есть следующий DataFrame в (Py) Spark. (Я взял данные из этого вопроса .)...

При создании внешней таблицы с разделом в кусте с использованием spark в формате csv com.databricks

У меня есть 2 кадра данных Spark library(SparkR); library(magrittr) df1 <- createDataFrame(data

В фрейме данных spark у меня есть 1 столбец, содержащий список в виде строк. Я хочу объединить...

Я знаю искру, но новичок в alteryx. Может кто-нибудь пролить свет на мой следующий вопрос. сравнить...

У нас есть сотни разделов HDFS, которые мы пишем в каждый час дня. Разделы предназначены для...

DF1 - это то, что у меня сейчас, и я хочу, чтобы DF1 выглядел как DF2. Желаемый вывод: DF1 DF2...

у меня есть: val sparkBuilder: SparkSession.Builder = SparkSession .builder

Я использую SparkLauncher для того, чтобы подавать заявки на спарк. Я хотел бы перенаправить...

У меня есть Spark RDD, как показано ниже: СДР [строка] со значениями вроде: (00,"asfad",...

val spark = SparkSession.builder().appName("Wordcount").master("local[*]")

df = sc.textFile("hdfs://n21-01-03/algo/ml_platform/downsample_data/nl/20180828/*/part-*

При загрузке CSV-файла, есть возможность удалить неправильно сформированные записи. Можем ли мы...

У меня есть фрейм данных Scala Spark с четырьмя столбцами (все строковые типы) - P, Q, R, S - и...

Схема: |-- c0: string (nullable = true) |-- c1: struct (nullable = true) | |-- c2: array (nullable...