Я пытаюсь записать потоковые данные в Neo4j, используя Spark, и у меня возникли некоторые проблемы...

Я получаю конфиг в виде in = instance.getClass().getResourceAsStream("/config

У меня есть RDD с другим набором значений, и я хочу вернуть все отдельные наборы из исходного RDD....

Я пытаюсь использовать Pulumi Javascript SDK для создания Spark-кластера HDInsight в Azure.Я...

Мне нужно передать ко многим различным сценариям и денормализовать все результаты в одну таблицу (,...

Я пытаюсь записать данные в HDFS из структурированного потокового кода в Scala. Но я не могу этого...

Мой вариант использования вращается вокруг перезапуска / очистки SparkSession для каждого...

Я использую менеджер ресурсов пряжи для искры.после перезапуска сервера пряжи все выполненные...

Я использую sc.wholeTextFiles(",".join(fs), minPartitions=200) для загрузки 6k XML-файлов...

Я настроил Spark для HA, используя SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy

Я работаю с Apache Spark и Apache Ignite. У меня есть набор данных spark, который я написал в...

Я создал фрейм данных поверх файла паркета и теперь могу видеть схему фрейма данных. Теперь я хочу...

У меня есть настройка, при которой входящие данные из кластера Kafka обрабатываются потоковым...

Необходимо прочитать поток структурированных данных из потока Кафки и записать его в уже...

Я хочу сгруппировать фрейм данных в один столбец, а затем применить статистическую функцию ко всем...

ниже приведены все файлы oozie, которые я использовал для запуска задания. Я создал папку в hdfs /...

Я использую spark со scala для чтения определенного раздела Hive. Раздел: year, month, day, a и b...

Скажем так: у нас в Hive хранится таблица, разбитая на дату.Например: у нас есть таблица с именем...

У меня есть датафрейм, который выглядит следующим образом: items_df...

Я делаю простой запрос: spark.sql("SELECT * FROM mytable ORDER BY age").collect() Мой...

Может кто-нибудь подробно объяснить используемые ресурсы, минимальные ресурсы и максимальные...

У меня есть потоковый запрос, сохраняющий данные в fileink. Я использую .option («стартовый набор»,...

Я получаю некоторые временные исключения, за исключением использования потоковой передачи с Amazon...

Мой код работает нормально на моей win7 idea64, но когда я упаковываю код и запускаю его на...

У меня есть кластер на EMR (emr-5.20.0) с m5.2xlarge в качестве Node Master, два m4.large в...