Мы используем Spark 2.1.0 на Yarn для пакетной обработки многострочных записей.Наша работа написана...

Я создал операторы select и join, которые я могу запустить из Hive CLI и / или beeline CLI и / или...

Я пытаюсь создать два dataframe и присоединиться к ним, используя метод dataframe.join. Вот код...

В Spark, используя Scala, у меня есть набор данных со столбцом, имеющим массив типа [foo, bar, baz,...

У меня есть json, как показано ниже, это всего лишь один фрагмент данных.Таким образом, фактический...

Как я могу записать кадр данных с таким же именем столбца после операции соединения в CSV-файл.В...

У меня есть два Array[string] столбца в коллекции MongoDB, теперь я комбинирую их с помощью функции...

Мне любопытно узнать, как отбрасывать повторяющиеся слова в строках, которые содержатся в столбце...

У меня есть два кадра данных, которые были извлечены из двух файлов CSV....

Мне нужно прочитать данные, хранящиеся в HDFS на другом компьютере, и мне нужно получить доступ...

Мы получили исключение при чтении из файла паркета через искровой фрейм данных. sqlContext.read

Моя нижеприведенная программа пытается распечатать цену самого дорогого дома, учитывая файл CSV,...

Есть ли разница в производительности, если вы пишете приложения Spark через цепочки методов против...

У меня есть запрос на возврат следующего фрейма данных.Колонна является поплавкового типа.+...

Мне нужно реализовать разбиение на страницы для моего набора данных (в искровых скалах). Если в...

Я пытаюсь отфильтровать набор данных, получая только те строки, которые содержат слова в массиве.Я...

Я вижу очень странное поведение при попытке перезаписи раздела в таблице Hive с помощью Spark 2.3...

Я читаю DataFrame из паркета и хочу кэшировать его после выбора некоторых вложенных структур. df

В PySpark я пытаюсь определить пользовательский агрегатор , который накапливает состояние .Возможно...

У меня есть DataFrame, где я заменил некоторые отсутствующие значения поля на «N / A», например .na

Я пытаюсь передать переменную в сеанс spark-shell.По сути, моя цель - создать код, который будет...

Я пытаюсь переместить данные из таблицы в таблице PostgreSQL в таблицу Hive в HDFS.Для этого я...

Я получаю сообщение об ошибке: java.lang.IllegalArgumentException: требование не выполнено:...

У меня есть несколько json, как показано ниже, когда я загружал этот json, некоторые поля - это...

Я сталкиваюсь с чем-то со Spark и сравниваю даты с временными метками, и я просто не понимаю, что...