Pysaprk: IOError: [Errno 2] Нет такого файла или каталога

Question

Мой код PySpark работает непосредственно в кластере hadoop.Но когда я открываю этот файл, он выдает мне эту ошибку: IOError: [Errno 2] Нет такого файла или каталога:

with open("/tmp/CIP_UTILITIES/newjsonfile.json", "w") as fp:
    json.dump("json_output", fp)

Answer 1

для этих случаев, когда вы работаете с файлами, лучше использовать модуль pathlib.

Можете ли вы запустить Debug, чтобы увидеть, куда на самом деле указывает этот путь?

приветствие