Мы устанавливаем pybuilder для нового проекта больших данных.Мы должны проверить, что некоторые классы создают правильные распределенные таблицы.Как следствие, мы создали несколько юнитов, которые проходят при запуске их на eclipse / pydev.Я успешно запускаю независимые модульные тесты, но когда я объявляю тест с использованием pyspark, у меня появляется длинный список исключений Java, начинающийся с:
ERROR Utils:91 - Aborting task
ExitCodeException exitCode=-1073741515:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
Это мой файл build.py:
from pybuilder.core import use_plugin
from pybuilder.core import init
import sys
import os
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python\lib\py4j-0.10.7-src.zip'))
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python'))
use_plugin("python.core")
use_plugin("python.unittest")
use_plugin("python.install_dependencies")
default_task = "publish"
Мы используем pyspark 2.3.1 и python 3.7.Что я делаю не так?