У меня есть теоретический вопрос. Скажем, вы должны были запустить спарк-кластер, у вас есть интерфейс ноутбука для работы, все отлично и отлично. Вы работаете в dev и пишете свой код в PySpark с несколькими чересстрочными функциями Python.
Теперь ваш код попадает в тестовую среду, и администраторы решают отключить интерпретатор python в системе. Это означает, что теперь вы остались только с тем, что является чистым Pyspark и может работать на рабочих узлах. Раздражает, но хорошо, давайте посмотрим, сможем ли мы обойти это. Я удаляю все python биты, переписываю конвейер данных для обработки всего в кластере.
Однако я продолжаю получать странные ошибки, которые никто не может объяснить. поэтому мой вопрос: есть ли зависимость от PySpark для интерпретатора python, и возможно ли вообще полностью удалить интерпретатор python как с главного, так и с рабочего, и при этом иметь правильно функционирующий экземпляр PySpark?
Спасибо за помощь и советы.