У меня есть набор данных, содержащий упоминания различных тем в Reddit, который выглядит следующим...

В настоящее время Spark анализирует большое количество небольших CSV-файлов в одном большом кадре...

Я должен использовать загрузку файла один раз в день и использовать это в моей потоковой передаче....

Я использую Spark 2.0.2 (в DSE / DataStaX Enterprise Edition 5.1) для запуска какого-либо...

Я всегда понимал, что оболочки Spark, будь то PySpark или Scala, работают в режиме клиента.И...

писатель: DataFrameWriter writer .format("jdbc") .option("url",...

У нас есть автономный кластер Spark, работающий на рабочих экземплярах AWS с автоматическим...

У меня есть искровой фрейм данных следующей структуры:...

val result = df.select($"seq_id", posexplode(array($"prod_id",...

Я хотел бы знать о модульном тестировании Spark Structured Streaming. Мой сценарий заключается в...

Как мне параметризировать приведенную ниже функцию зажигания. Значения groupBy и Pivot являются...

У меня установлена ​​система зажигания поверх моей HDFS. Допустим, у меня есть файл (содержит 3...

Я читаю данные из раздела Kafka и помещаю их в Azure ADLS (как в HDFS) в режиме секционирования....

Я пытаюсь создать потоковое приложение Spark, которое читает из Kafka. Я смотрел на руководство...

У меня есть два Spark DataFrames с соответствующими парами разделов. Я хотел бы отправить каждую...

Я использую spark 2.2.1, но, похоже, моя проблема возникает и в 2.4. Я пытаюсь использовать функцию...

Я пытаюсь выбрать тип экземпляра для моих кластеров Spark EMR. Мне было интересно, если кто-нибудь...

Здесь у меня есть оценки учеников, как показано ниже, и я хочу транспонировать столбец имени...

У меня есть фрейм данных со многими столбцами, и, чтобы объяснить ситуацию, скажем, есть столбец с...

Мой текущий проект работает в пакетном режиме, т. Е. Выполняется ежедневно ночью. Когда мои...

Я пытаюсь использовать функцию Spark bucketBy для довольно большого набора данных. dataframe

Я пытаюсь прочитать данные из MySQL, но выбрасывает исключение NullPointerException.Не уверен, в...

Я немного новичок в этом и у меня мало опыта, буду признателен за вашу помощь. Я пытаюсь установить...

Я успешно получил доступ к данным от Hbase до Spark раньше.Однако я обнаружил проблему,...

Я пытаюсь просмотреть файлы паркета и хотел бы показать количество отдельных значений столбца и...