Я установил databricks-connect и смог подключиться к кластерам и запустить несколько заданий из VSCode.
Я увидел, что можно запускать databricks-connect в записной книжке Jupyter, то есть с того же терминала. моего кода в VScode, я запустил Jupyter Notebook в той же среде, но Spark не понравилась идея,
Вот несколько снимков этой проблемы:
Этот из VSCode Notebooks (он также работает в .py): 
Этот из Jupyter Notebook: 
Я пробовал findspark, и в нашем случае это не решение, поскольку я использую Databricks Connect,
Я вижу, что Spark не указывает на тот же контекст,
и я повторяю, я запустил ноутбук с терминала той же среды, поэтому логически у меня все переменные env одинаковые