Проблема: Путь к каталогу Spark csv относится к предыдущему каталогу.
содержит файлы csv 1. home/test/folder1/data/1.csv sp.read.option.csv(data/1.csv) 2. home/test/folder2/data/2.csv sp.read.option.csv(data/2.csv)
содержит файлы pytest 1. home/test/folder1/python_file1.py 2.home/test/folder2/python_file2.py
Ниже команда выполняется в home/test/
pytest -v
pytest выполняется home/test/folder1/python_file1.py и создается сеанс искры.
pytest выполняет home/test/folder2/python_file2.py и сеанс искры создается, и csv относится к home/test/folder1/data/, но не home/test/folder2/data/.
sp.read.option.csv()
sp присутствует в conftest.py, что указывает на локальный режим.
SparkSession.builder.master.getorcreate()
Вопрос: Как задать в каталоге путь к home/test/folder2/, чтобы csv можно было читать динамически.