Я могу разработать конвейер, который читает из kafka, выполняет некоторые преобразования и...

Вопрос Есть ли способ загрузить определенный столбец из таблицы базы данных (PostreSQL) в виде...

Поскольку моя программа spark работает с большим количеством данных, я думаю, что происходит сбой,...

У меня есть данные еженедельных временных рядов, и я пытаюсь использовать Pyspark SQL для...

Представьте себе следующий ввод: val data = Seq (("1::Alice"), ("2::Bob")) val...

Я выполняю искровой код в оболочке scala с использованием jaf-файлов Kafka, и я намерен передавать...

рассмотреть текстовый файл с двумя столбцами a,b c,d a,b a,b d,c b,a e,f g,h с помощью spark-sql и...

Я пытаюсь подключиться к удаленному метастазу улья с помощью spark. Мой куст настроен на...

На самом деле, я запускаю искровое потоковое приложение на EMR, я установил yarn

Мы переходим с Greenplum на HDFS. Данные поступают из исходных таблиц в Greenplum через огромный...

У меня очень большая таблица с двумя столбцами: первичным ключом и столбцом 'features',...

Мой вопрос довольно прост, но почему-то я не могу найти четкий ответ, прочитав документацию. У меня...

Я пытаюсь загрузить фрейм данных из списка путей в спарк. Если файл существует во всех упомянутых...

Создан один проект «spark-udf» и письменный улей udf, как показано ниже: package com.spark.udf...

Я использую Java-Spark для загрузки JSON в Dataset следующим образом: Dataset<Row> df = spark

У меня есть небольшой искровой кластер с одним мастером и двумя рабочими. У меня есть потоковое...

Я получаю сообщение об ошибке «org.bson.BsonInvalidOperationException: Invalid state INITIAL» при...

У меня есть простой искровой код, я хочу увидеть метрики о том, сколько записей читается в Spark...

У меня есть приложение spark для создания внешней таблицы Hive, которое работает нормально впервые...

Я работаю с Apache Spark для создания паркетных файлов. Я могу разделить их по дате без проблем, но...

После долгого поиска правильного способа сохранения DataFrame в Phoenix я заметил, что метод df

Я работал над Amazon EMR более 1 года, но недавно мы перешли на aws glue для обработки данных. Мне...

Существует много способов проверить схему двух фреймов данных в искре, например здесь . Но я хочу...

Я использую apsche spark streaming 2.3.1, где я получаю поток, содержащий значения меток времени...

Я хотел бы выполнить какое-то преобразование, чтобы получить желаемый результат: До: Column 1 |...