Я уже давно использую PySpark 2.4.Spark был установлен в моей системе на /usr/local/spark.Внезапно я вижу ошибку, когда я набираю pyspark в командной строке.
Failed to find Spark jars directory (/assembly/target/scala-2.12/jars).
You need to build Spark with the target "package" before running this program.
Системная ОС = CentOS 7
У меня установлены Python 2.7 и Python3.6.Однако когда я установил spark, я установил Python 3.6 по умолчанию.
Есть пара cronjobs, которые работают каждый день (и довольно часто), где используется pyspark.Боюсь, что такая ошибка, как указано выше, может помешать запустить эти кроны.Пожалуйста, включите немного света на это.