Я использую следующее в Windows 10.
-spark-2.3.1-бен-hadoop2.7
-jdk1.8.0_211
Переменные окружения не имеют пробела между именем.
При запуске pyspark или spark-shell из командной строки в административном режиме показывается исключение "\ Python37-32 \ Scripts ..", которое в это время было неожиданным.
Я переустановил Python, pyspark, переназначил переменные окружения