Сеанс искры может быть введен с пользовательской точкой расширения в Scala API. Вопрос также поддерживается в Python API (pyspark).
Если это так, может кто-нибудь указать мне пример или подобное в PySpark
Спасибо