Я попытался запустить java-код с помощью pyspark, см. Этот пост https://www.crowdstrike
Я запустил небольшой кластер локально. spark-submit --py-files word_count.py Error: Missing...
У меня есть команда, в которой многие участники имеют разрешение отправлять задачи Spark в YARN...
Я использую Spark-Streaming в своем приложении SpringBoot. Я сталкиваюсь с ошибкой при выполнении...
Я хочу отправить EMR-задание с zip-файлом и zip-файлом, содержащим основной файл, скажем main.py...
Я использую команду spark-submit для запуска кода Python с использованием pyspark. Что-то вроде:...
Я новичок в Spark и новее в R, и пытаюсь выяснить, как "включить" другие R-скрипты при запуске...
Я работаю с временными рядами для прогноза фондового рынка. Мой скрипт Spark отлично работает на...
Я отлаживаю искровое задание (pyspark) в коде в удаленном сеансе SSH (в коде инсайдеров)my launch
У меня есть приложение, которое выполняет некоторую работу, и в конце оно должно прочитать какой-то...
Я выполняю сценарий spark-submit в шаге EMR, в котором в качестве основного класса используется мой...
Я пытаюсь запустить этот файл .py.Я скопировал файл dsgd_mf.py в корзину GCP.Требуемый входной файл...
Первый ， Я упаковываю все соответствующие эталонные файлы и пакеты python (просто включаю redis)....
Итак, я пытаюсь запустить приложение Apache Spark на AWS EMR в режиме cluster, используя...
Я пытаюсь запустить искровое задание в EMR, которое предполагает чтение 16 ГБ данных и сохранение...
Я новичок в pySpark.Я использовал --py-files, как показано ниже в команде spark-submit, чтобы...
Я создал pyFiles.zip & sql.zip и у меня ниже структура каталогов. pyFiles.zip - module1 - module1
Я создал оболочку для команды Spark-Submit, чтобы можно было генерировать события в реальном...
Похоже, что наиболее распространенный способ запуска задания "спарк" - это использование команды...
Мне интересно, использовал ли кто-нибудь частное хранилище Nexus PyPi и spark-submit --py-file...
У меня есть приложение Spark, которое мне нужно применить к разным файлам и получить результат как...
Я использую Azure Databricks для развертывания некоторого кода R, распараллеленного через...
У меня есть кластер, в котором мы настроили hadoop со встроенной искрой.Версия spark - это spark v2
В чем разница между Spark-submit "--master", определенным в CLI, и кодом приложения spark,...
Я давно борюсь с этим вопросом и отчаянно ищу помощь. Контекст У меня есть толстая банкаотправлено...