В моем случае я хочу "создать или заменить" базу данных кустов из spark-sql. Мне было интересно,...

Я пытаюсь объединить большое количество маленьких файлов avro (в формате hdf) в файл паркета....

Я могу успешно проверить приведенный ниже код в кластере EMR с помощью искры. Но я не могу написать...

Я создаю tempview в spark, используя функцию df.createOrReplaceTempView.После создания...

Я ищу соединитель / клиент в Scala, который отправляет подписанные запросы в AWS эластичный поиск.Я...

у меня есть этот пример dataframe: id | A | B | C | D 1 |NULL | 1 | 1 |NULL 2 | 1 | 1 | 1 | 1 3 | 1...

Есть некоторые запросы, которые занимают больше времени в искровом катализаторе из-за их сложности...

Я пытаюсь создать SparkSession, чтобы я мог использовать implicits._, но я получаю ошибки при...

Все Я пытаюсь подключиться к среде S3 от искры, установленной на локальном компьютере Mac, и с...

Я думал о том, как уменьшить искровой кластер на основе его использования ресурсов, и нашел...

Я пытаюсь получить код HTTP и сохранить его в таблице RDS для последующего анализа задания pyspark,...

Я создал org.apache.spark.sql.Row, где одно из полей - List[String].Когда строка содержала только...

Я хотел бы выяснить, возможно ли создать простую искровую программу, работающую в кластере MAPR,...

Я пытаюсь запустить программу spark на aws.Он просто читает CSV-файл и печатает его с помощью...

Я пытаюсь заменить символ "/" пробелом ("") из данных в столбце с именем UserAgent в кадре данных...

У нас есть большая таблица клиентов с 7 миллионами записей, и мы пытаемся обработать некоторые...

У меня есть проект НИОКР, который читает данные из Oracle и записывает их в автономный кластер...

Я провожу некоторые тесты в спарк.Для этого я загружаю CSV-файл, чтобы сравнить мои результаты с....

Я могу успешно загрузить текстовый файл в DataFrame с помощью следующего кода Apache Spark Scala:...

Я думаю, что AWS Glue не хватает памяти после сбоя записи выходных данных паркета ... Произошла...

Я работаю над настройкой категориальных переменных для моделей с искровым ML. Вместо столбца с...

Мы работаем над Spark SQL. Мы делаем ранжирование, используя некоторые пустые строковые поля....

Я пытаюсь присоединиться к следующим 2 фреймам данных: val df1 = Seq( ("Verizon",...

Я пытаюсь получить сумму дохода за последние 3 месяца (без учета текущей строки) для каждого...

У меня проблема с экспортом фрейма данных pyspark в CSV. Возможно, я неправильно понимаю, как...