Я работаю с фреймом данных. Df выглядит так: root |-- array(data1, data2, data3, data4): array...

Когда я использую R в Zeppelin, он работает, но когда я оставляю Zeppelin включенным один день, на...

Я новичок в Scala / Spark Streaming и в StackOverflow, поэтому прошу прощения за мое форматирование

Я пытаюсь запустить исполняемый скрипт для столбца в кадре данных. В настоящее время Spark...

Я хочу посмотреть, насколько релевантен входящий твит для моей тестовой статьи. У меня есть набор...

Я пытался запустить длинное искровое приложение, которое имеет 5 заданий, 4 задания успешно...

Я установил Zeppelin в Windows, используя это руководство и это .Я также установил Java 8, чтобы...

Tachyon - это распределенная система хранения в памяти, разработанная отдельно от Spark, которая...

Я создал простой набор данных, найдя average.Нашел способ используя tuple с опцией combineByKey

Как показано в приведенном ниже коде, я считываю файл JSON в фрейм данных и затем выбираю некоторые...

У меня .csv с несколькими столбцами, и я хочу пропустить 4 (или 'n' в целом) строки при...

Я пытался получить доступ к столбцам "accession" "database" "disease"...

У меня есть эти dataFrames: +----+-------+-----------+...+------+----------------+---------+ |mot1|...

Я задаю этот вопрос, потому что мое переименование S3 файлов, которые я генерирую с помощью spark,...

В приведенном ниже фрагменте вторая агрегация завершается неудачно (что неудивительно): java.lang

Я использую Spark 2.3.1 PySpark (AWS EMR) Я получаю ошибки памяти: Контейнер уничтожен YARN за...

Я пытаюсь вставить данные во внешнюю таблицу кустов через spark sql.Мой стол в улье разбит на...

Я понимаю, в spark, что редукционный ключ будет сначала уменьшать локально на каждом разделе, а...

Интерпретатор Zeppelin Spark создает SparkContext автоматически, однако мне нужно использовать...

Я запускаю небольшую программу в кластере Apache Spark и получаю такую ​​ошибку.Это неправильно.Это...

У меня есть фрейм данных со значениями в формате |resourceId|resourceType|seasonId|seriesId|...

У меня есть три столбца - «Год», «Месяц» и «Час».Мне нужны входные данные для преобразования его в...

У меня есть фрейм данных pyspark, как показано ниже. +---+-------+--------+ |age|balance|duration|...

Я пытаюсь установить Pyspark в Windows. Я применил setx к следующему: PYSPARK_DRIVER_PYTHON...

Я использую Kryo 5.0.0-RC1.У меня есть следующее исключение: java.lang.IndexOutOfBoundsException:...