У нас есть база данных временных рядов для пользовательских событий, которая выглядит следующим...

У меня есть столбец типа array<array<struct<a: String, b: Int>>>. Я хочу столбец...

Как мне получить вывод всех фильмов за каждый год, используя spark.sql? Ouput: (1988,{(Rain Man)...

Я делаю сложную обработку текста, используя R-файлы больших файлов текста. Spark продолжает давать...

Я использую Apache Nifi 1.9.2 для загрузки данных из реляционной базы данных в Google Cloud Storage

У меня есть список объектов org.apache.spark.sql.types.DataType, скажем, val tps = [FloatType,...

Как запустить генерацию данных tpc-ds (dsdgen), а затем выполнить запросы к этим данным (dsqgen) в...

Я выполняю операции concat и cast внутри запроса SQL Spark следующим образом: spark.sql...

У меня есть один файл json со 100 столбцами, и я хочу прочитать все столбцы вместе с...

Я пытаюсь загрузить Testfile , используя spark и java. Код работает нормально в режиме клиента (на...

Я читаю данные из файлов паркета, обрабатываю их, а затем сохраняю результат в S3.Проблема...

Я получаю не сериализуемое исключение при попытке получить и записать значение в HDFS, используя...

Когда я запускаю свою искровую работу на блоке данных в записной книжке, она не печатает конечный...

У меня есть приложение структурированного потокового вещания, которое читает сообщения от Кафки....

У меня есть структурированное потоковое задание, которое берет сообщения json из очереди kafka и...

val partitionsColumns = "idnum,monthnum" val partitionsColumnsList = partitionsColumns

Я записал фрейм данных в файл паркета, используя спарк, который имеет 100 подкаталогов (каждый...

У меня есть искровой потоковый контекст, получающий потоки данных от потребителя Kafka.Данные...

Я ссылался ниже на ссылки и сделал те же изменения https://aws.amazon

Кафка очень распространена.Так много компаний используют это.Я полностью понимаю, как работают...

В книге «Потоковая передача Spark с Apache Spark» авторы упоминают, что поле «failOnDataLoss...

У меня есть код структурированного потокового скала, написанный для запуска в пакетном режиме.Я...

У меня есть приложение Spark, которое выбирает подмножество и выполняет некоторые операции над...

Я получаю DStream от Кафки и хочу сгруппировать все сообщения в каком-то скользящем окне по ключам....

Я запускаю искровое задание в режиме кластера пряжи и не могу сохранить журналы в файле.Я использую...