У меня была проблема с записью файла паркета с использованием pyspark (Koalas) с автономным кластером. Ошибка, с которой я столкнулся, была java.io.IOException: Could not rename file.
. Из здесь я понял, что
это потому, что драйвер запускается пользователем, а процессы-исполнители запускаются * 1016. * и эти корни не имели разрешения на запись файла в пользовательскую папку.
Мое временное решение было сохранить его в папке C:\, предложил здесь .
Однако мне интересно, есть ли способ настроить pyspark для запуска исполнителей пользователями, чтобы я мог писать в папке пользователя.