Я использую spark-submit с Yarn и deploy-mode в качестве клиента, т.е. на моем клиентском компьютере будет открыт мой процесс драйвера. У меня есть один текстовый файл в пути клиентского компьютера, и этот путь не является монтированием NFS.Так что я могу получить доступ к этому файлу без загрузки в любую распределенную файловую систему или без монтирования NFS.
, так что
spark.read.csv("file:/path.txt").show
будет работать.
он должен быть в развертыванииКЛИЕНТ