Я хотел бы задать один теоретический вопрос. Представьте, что у нас есть наш главный объект как:...

Я пытаюсь записать данные в Kudu из Spark, и я получаю эту ошибку java.lang

Я изучаю курс «Удар Apache с помощью Scala - Практические занятия с большими данными» в Udemy. В...

Я использую Spark 2.3.1. У меня есть работа, которая считывает 5.000 маленьких файлов паркета в s3....

Я использую Spark 2.3.0 и пытаюсь загрузить набор данных из MySql (MariaDB) использование:...

Мне удалось сохранить логи на сервере запуска (сервере, на котором я запускаю задание spark) с...

Я пытаюсь преобразовать DataSet в объект Java. Схема похожа на root |-- deptId: long (nullable =...

Я работал над некоторыми scala кодами для запуска потоковой передачи искры для сбора данных kafka....

Я хочу читать вложенные данные из источника тем Kafka, используя Spark Structured Streaming. Мой...

Ошибка ниже, при сохранении фрейма данных в виде таблицы в режиме партера, перед тем, как...

У меня есть 300 маленьких csv файлов (по 10-100 МБ каждый). Я хочу обрабатывать каждый файл...

Я кэширую таблицу кустов (кеш-таблицу) на сервере Sprift после перезапуска сервера и одновременного...

В моей работе pyspark я пытаюсь создать временную таблицу, используя предложение LIKE, как показано...

Я построил модель классификатора DecisionTree, используя spark ML 2.3. Вот часть model

Spark SQL вызывает Hive для преобразования и создает ошибку таблицы в режиме YARN в кластере...

В: Как мне записать в Cassanrda только столбцы со значениями из Spark DataFrame и сделать это...

Я использую spark over emr и пишу скрипт pyspark, Я получаю сообщение об ошибке при попытке from...

Я новичок в Spark и пытаюсь понять разницу между двумя JavaRDD и JavaPairRDD, а также насколько...

У меня есть набор данных с несколькими столбцами, которые являются массивами StructType. Моя...

У меня есть база данных PostgreSQL с ~ 1000 различными таблицами. Я хотел бы экспортировать все эти...

Я использую Zeppelin с Spark (Scala) val sparkLicTextFilePath = "/home/tt/Software/spark-2.3

Мне нужно перебрать кадр данных в определенном порядке и применить некоторую сложную логику для...

У меня есть файл, который содержит такие записи, как, Ввод (необработанная запись журнала): 50.57

Я пытаюсь создать отсортированную коллекцию в состоянии моих групп и получаю ошибку от катализатора...

Я на самом деле работаю со свечой и пытаюсь увеличить пространство кучи. Я прочитал несколько тем и...