Я сталкиваюсь с проблемой асимметрии, когда пытаюсь объединить 2 набора данных.Один из разделов...

Я новичок в Apache Spark и использую версию 2.4.3, предварительно созданную для Hadoop 2.7.Мне...

Предположим, я выполняю простой скрипт pyspark data_rdd.map(some_fun).toDF(), где data_rdd содержит...

Я настроил автономный кластер (узел 32 ГБ и 32 ядра) с 2 рабочими по 16 ядер и 10 ГБ памяти каждый

Простое потоковое приложение Spark без каких-либо значительных вычислений в памяти потребляет 17 ГБ...

У меня есть таблица с двумя столбцами, как показано ниже: |а |b | |1 |2 | |2 |3 | |3 |4 | |7 |8 |...

Я запускаю искровое задание для извлечения данных из оракула и загрузки их в базу данных mongo. Во...

У меня есть несколько больших фреймов данных (около 30 ГБ), называемых as и bs, относительно...

ребята, у меня есть эта пользовательская функция, чтобы проверить, являются ли строки текста...

Я хотел преобразовать данные CSV в определенный формат JSON, а не в обычную плоскую вещь. Поэтому я...

У меня есть приложение IoT, в котором я получаю данные от различных счетчиков энергии и счетчиков...

Я пытаюсь понять, как работает сериализация в случае самостоятельно сконструированного класса case...

Я использую Apache Spark 2.4.3 и заметил, что веб-интерфейс для запроса потокового микропакета...

мы используем spark для запуска нашего преобразования, т. Е. Join, groupBy и т. Д. Существует два...

Когда я создаю «файл» в формате ORC из источника df.write.orc("/path/to/output.orc"), я...

Прежде всего, я довольно новичок в спарке, поэтому извиняюсь, если мне не хватает очевидного! Я...

У нас есть KStream (взятый из темы Кафки), сообщения которого выглядят так: Новые сообщения ........

У меня есть Spark DataFrame, который я хочу транспонировать. Я использую Spark и Scala. Я видел...

У меня есть кластер, на котором запущены Spark v1.6.1 и Cassandra V2.2.5, расположенные на каждом...

Мне часто приходится создавать файлы паркета для тестирования компонентов инфраструктуры, таких как...

Я хочу создать управляемую таблицу с расположением на AWS S3 через spark sql, но если я укажу...

Я пытаюсь записать данные в Hbase через фрейм данных spark def main(args: Array[String]): Unit = {...

Я не знаю, что означает Spark ' Структурированный API '. Почему ' Структурированный API ' так...

У нас есть приложение Streaming Stream.Архитектура выглядит следующим образом: Kinesis Spark to...

Я использую HIVE Я получаю сообщение об ошибке ниже всякий раз, когда запускаю свой код: Error...