Я сталкиваюсь со следующей ошибкой при выполнении команды spark-submit только в режиме искрового кластера , тогда как при локальном запуске получаю правильный вывод. Ошибка отображается в приглашении CMD следующим образом на прилагаемом изображении:
Ошибка Pyspark
- Я дал разрешения на чтение и запись для соответствующих папок
используя команду chmod -R 777 / path / to / folder.
- Кроме того, когда я запускаю команду spark submit для примера Pi.py в кластере и локально; хорошо работает.
- Проблема сохраняется только при указании ввода файлов
Посоветуйте, пожалуйста, подходящее решение для этой проблемы. Он сохраняется как в MacOS, так и в Windows, и у меня нет подходящего решения для того же
Вот фрагмент кода для WC.py
WC.py код
