Ноутбук не остается на драйвере.Всякий раз, когда вы запускаете ячейку, эта ячейка будет отправлена для выполнения в текущем сеансе спарка.
Попробуйте это проверить.
%sh
pwd
ls
Если вы хотите получить доступ к некоторым файлам или коду, вы можете загрузитьэто DBFS и доступ к нему.Если это код, вы можете скомпилировать его в .jar (java, Scala) или .egg (python) и присоединить библиотеку к кластеру, на котором вы используете ноутбук.