Я новичок в spark и пытаюсь использовать spark для чтения json-файла следующим образом.Используя...

У меня есть искровой фрейм данных ~ 70 мил строк с 3 столбцами ['id', 'date', 'val'] и вложенным...

Я хочу попробовать что-то вроде Однако я получил предупреждение от идеи вроде что мне делать?

Я изучаю scala и узнал, что мы можем сохранить файл scala, используя два расширения: my.sc и my

Я пишу программу spark / scala, которая отправляет запрос в athena (использует...

У меня вопрос новичка: у меня есть проект Scala на основе искры, который использует junit.Это...

Рассмотрим следующий сценарий со следующими шагами: Загрузить файл CSV в HDFS Прочитать этот файл,...

У меня одна стадия сбоя задания Spark из-за java.lang.NullPointerException, брошенного функцией в...

Я пытаюсь выучить pyspark.Я установил python 3.6.5 на мой компьютер с Windows 10. Я использую...

У меня есть два RDD, к которым я хочу присоединиться - salesfromSource1: RDD[(String, List[Sale])]...

Фрейм данных (df), с которым я сейчас работаю, содержит 10 миллионов строк.Это выглядит так: col1...

Проблемы при создании / загрузке паркетного стола из Spark Сведения об окружающей среде:...

Мне нужно написать условие if else в pyspark следующим образом. schema = StructType([]) final =...

Таблица Hive, созданная с помощью Spark (pyspark), недоступна из Hive. df.write

Я реализовал код в Scala, который использует метод, написанный на Java.В приведенном ниже коде...

Я написал метод в Scala, который использует метод, написанный на Java - processSale() метод...

Я пытаюсь преобразовать DataFrame как Dict, используя функцию collectAsMap() в RDD. Код: dict = df

Как мне GROUP BY или использовать DISTINCT столбец сложного типа с картой?: case class Foo(id:Int,...

Я хочу написать задание (либо в Spark / JAVA), которое должно выполнять шифрование и дешифрование...

возможно, есть кто-то, кто может мне помочь.Я пытаюсь прочитать данные из ES с помощью PySpark.Мой...

У меня есть фрейм данных со столбцом (A, B), где столбец B - это бесплатный тест, который я...

Я использую искровое приложение на IntelliJ на Java.Я добавил в pom.xml зависимости spark, Hadoop и...

Запуская распределенное приложение в Spark / YARN, я получаю следующую ошибку, которая убивает...

В настоящее время у меня есть kafka, который передает клиентские данные GEO в Spark Streaming...

У меня есть простое демо-приложение Scala, которое читает из файла и выводит на экран.Я пытаюсь...