Я понимаю, что мы можем передавать файлы python в кластер spark, используя --py-files
spark-submit --py-files
что, если я хочу передать модуль python, реальная проблема, с которой я сталкиваюсь, это то, что у меня есть udf, который использует
from dateutil.parser import parse as date_parse
Моя работа жалуется No Module named 'parser' found.