Я пытаюсь запустить команду spark-submit из модуля Kubernetes.Файл свойств монтируется как карта...

Я пытаюсь запустить искровое задание в автономном режиме, но команда не получает файл JAR из HDFS....

У меня есть скрипт на python, который использует spark для преобразования файлов в паркет, а затем...

У меня есть простой Scala-код Spark, который я пытаюсь запустить на spark2 в Cloudera [5.15.0],...

Я написал программу в scala и создал исполняемый JAR-файл, используя инструкцию по сборке sbt....

Я должен запустить несколько заданий по очереди последовательно, поэтому я пишу сценарий оболочки

У меня есть программа pyspark, которая успешно подключается к базе данных MySQL и читает таблицу

У меня есть файл jar, который предоставляется для spark-submit.With в методе в jar.Я пытаюсь...

Я запускаю spark-submit с целевым jar следующим образом: spark-submit --class com.Main...

Я относительно новичок в использовании pyspark и унаследовал конвейер данных, встроенный в spark

Я хочу запустить доступ к HDFS локально.Скажем, вам нужен только доступ к HDFS, возможно, самый...

Согласно этому документу , я могу использовать приведенную ниже команду для загрузки локального...

У меня есть поток потокового Dataset<Row>, который передает каталог csv-файлов.Итак, у меня...

Время от времени, когда я отправляю искровое задание в кластер Google Kubernetes, я получаю 401...

Я пытаюсь запустить работу с потоковым воспроизведением на платформе DC / OS, и у меня проблема с...

У меня есть структура кода, как показано ниже: - my_app | |--- common | | | |---init.py | |---spark...

Когда я отправляю свой файл python на свечу, как это spark-submit driver.py Начинает отображаться...

Я использую метод import cucumber.api.cli.Main для вызова основного метода огурца, например Main

Я новичок в Искре.У меня есть приложение, которое запускает каждый запрос spark sql, вызывая...

Я отправляю задание spark следующим образом: spark-submit --conf spark.ui.port=5051 server_code.py...

У нас есть поток Кафка, который использует Avro.Мне нужно подключить его к Spark Stream.Я использую...

При попытке запустить мой искровой сосуд с помощью spark-submit я получил ошибку.Строка, которая...

Создано искровое структурированное потоковое приложение с использованием весенней загрузки.BootRun...

У меня спарк работает как автономное приложение на кластере.Я отправляю задания, используя команду...

spark 2.1, python 2.6 Как передать файл в py-файлы и использовать его в работе spark.У меня есть...