Чем spark2-submit отличается от spark submit. Мне нужно перенести код из spark 1.6 to spark 2.4...

У меня есть огромные данные, которые накапливаются каждый год ежеквартально.Эти данные немного...

Мне интересно, сталкивался ли кто-либо из вас с такой же проблемой. В основном я выполняю некоторые...

Я читаю паркетный файл в spark-scala и занимаюсь вычислениями и фильтрацией. Я хочу проглотить...

Я новичок в Spark Framework и мне нужен совет. У меня такая структура папок. reports - 20180101 -...

В моей программе Scala я сталкиваюсь с проблемой объединения результатов нескольких уровней GroupBy

У меня есть сценарий от производителя консоли, я создал 4 сообщения, и с помощью spark я смог...

OrderNo Status1 Status2 Status3 123 Completed Pending Pending 456 Rejected Completed Completed 789...

У меня есть фрейм данных pyspark со следующим форматом времени 20190111-08:15:45.275753. Я хочу...

Я сохраняю dataFrame, и в интерфейсе spark я вижу, что этот dataframe разделен на мои 7 узлов. В...

У меня есть код задания зажигания как показано ниже Который отлично работает с приведенной ниже...

Я использую метод dropDuplicates () в Spark Structured Streaming 2.2.1 и мне нужно рабочее решение...

У меня есть искровое задание, которое получает данные из таблицы в SQL Server и генерирует...

У меня есть датафрейм, как показано ниже. ID, details_Json 1 {"name":"Anne"...

В функции evictBlocksToFreeSpace указано: Попробуйте выселить блоки, чтобы освободить определенное...

Например, если в драйвере Spark запущен следующий код: rdd.foreachPartition(iterator =>...

Я очень новичок в PySpark. Я собирал tfidf и хочу сохранить его на диске в качестве промежуточного...

У меня есть еще один вопрос о Spark и Scala. Я хочу использовать эту технологию для получения...

Скажем, у меня есть категорические особенности в кадре данных. Чтобы выполнить ML на кадре данных,...

У меня есть сценарий использования для генерации суррогатного ключа (уникального и с приращением 1)...

Я установил Hadoop версии 2.8.3 в моей среде Windows 10 (псевдораспределенный режим), и она...

В моей программе Scala я сталкиваюсь с проблемой объединения результатов нескольких уровней GroupBy

У меня есть требование соединить 50 нечетных файлов на наборе из 3 ключей, используя кадры данных...

Я работаю над проектом прогнозирования ссылок в Spark, используя Scala. Моя цель состоит в том,...

Озеро данных, с которым я работаю (df), имеет 2 ТБ данных и 20 000 файлов. Я хотел бы сжать набор...