Я столкнулся с той же ошибкой, и проблема была в пустом месте.
Я помещал папку с искрой по этому пути "C: \ Users \ myuser \ Aplication Data \", поэтому окончательный вариант путь был "C: \ Users \ myuser \ Aplication Data \ spark-2.4.5-bin-hadoop2.7"
Я думаю, вы помещаете папку "spark" в папку "C: \ Program Files \ spark-2.4.5-bin-hadoop2.7 ", и в какой-то момент путь обрезается до" Files \ spark-2.4.5-bin-hadoop2.7 ".
Попробуйте поместить папку в другой путь без пробелов.
Надеюсь, это поможет.