Запустите команду basi c в командной строке, используя Apache spark с PySpark - PullRequest
0 голосов
/ 15 апреля 2020

Я пытаюсь импортировать фрейм данных в spark, используя python pyspark. Для этого я использовал ноутбук Jupter, и я пишу ниже код, и я получил, как показано ниже .. enter image description here

После этого я хочу запустить это в CMD, чтобы сохранить свой python кодирует в текстовом файле и сохраняет как test.py (как python файл). Затем я запускаю этот python файл в cmd, используя команду python test.py ниже снимок экрана

enter image description here

Итак, мое задание выполнено, но через 3 или 4 часа я снова пытаюсь выполнить тот же процесс .. Затем, к сожалению, я получил ниже Сообщение об ошибке может кто-нибудь объяснить, почему это происходит? потому что раньше его правильно работал, но после этого его не работает, и я не сделал никаких изменений между этими двумя попытками. ниже есть полная ошибка, теперь есть столкновение.

enter image description here

enter image description here

1 Ответ

0 голосов
/ 15 апреля 2020

Похоже, что вы не установили Had oop home (winutil.exe) в командной сессии, которую вы открыли позже.

Искра не может найти HADOOP_HOME. Убедитесь, что вы установили что-то другое, когда запускали команду 1 раз.

...