Как бы я назвал Spark DataFrame (df), который помещается в кеш, с помощью df.persist()? ИЛИ Как бы...

Я использую соединитель azure-cosmosdb-spark для чтения и записи между Cosmos DB и Spark. Мне...

Я использую кластер HPC, где диспетчером заданий является SLURM.При получении 6 заданий на слерм с...

Я пытаюсь найти количество заданий зажигания в состоянии ACCEPTED, используя код Java. Здесь...

Есть ли способ, который я мог бы использовать, если я хочу знать, как Transformer меняет схему;без...

У меня есть искровой фрейм данных, который я хочу сохранить как паркет, а затем загрузить его с...

Я новичок и в искре, и в скале.Я пытаюсь загрузить CSV-файл в базу данных Mongo, используя искровое...

У меня есть имена столбцов по умолчанию, сохраненные в таблице, и я хочу сопоставить имя столбца,...

У меня есть таблица в postgres, где один из столбцов имеет имя с двойной кавычкой (имя в формате,...

Я использую версию spark-sql 2.4.1, Джексон Джарс и Java 8. В моей программе / работе с искрой я...

У меня есть текстовый файл.Теперь я хочу расширить горизонтальные данные, чтобы они были...

У меня есть один фрейм данных scala-spark с тремя столбцами, скажем, Col1, Col2 и Col3.Этот фрейм...

У меня есть фрейм данных с именем столбца и скоростью, и я хочу вычислить номер имени, скорость...

Для оператора Spark SQL FROM можно указать путь и формат файла. но заголовок игнорируется при...

Я довольно новичок в Scala и буду признателен за любые советы экспертов.Мне нужно проверить...

Я пытаюсь разделить таблицу кустов с разными временными метками.У меня есть таблица с временными...

Это мой текстовый файл, входящий в программу: Id Title Copy B2002010 gyh 1 D2001001 abc 12 M2003005...

Допустим, у меня есть следующий фрейм данных: val df = spark.sparkContext.parallelize(Seq(...

Я хотел бы сделать сумму агрегации массива с размером массива 100, вот моя грубая сила. (Я знаю,...

В следующих двух примерах количество запущенных задач и соответствующее время выполнения означают,...

Как читать из нескольких тем, используя spark readStream() с разными схемами, и writeStream() в...

Получение приведенной ниже ошибки при попытке загрузить банку зависимостей для действия oozie...

Я написал спаркджоб, который берет данные из hdfs в формате паркета. Теперь я хочу различать...

Я пытаюсь заполнить столбец до 4 десятичных разрядов с 0. Итак, пока я успешно получаю 10,9823 от...

Я пытаюсь начать экономию с дерби, используя start-thriftserver.sh. У меня есть эта ошибка, и я не...