Невозможно создать локальный каталог в EMR пользователем 'livy'

Question

Я отправляю задание pyspark в EMR кластер из AWS Step Function через apache livy .Задание pyspark содержит команд Unix shell .

В пределах test.py ,

subprocess.call(' echo $USER', shell=True, stdout=None, stderr=None)
subprocess.call(' mkdir /mnt/data', shell=True, stdout=None, stderr=None)

ЖурналФайл имеет такой вывод:

livy
mkdir: cannot create directory ‘/mnt/data’: Permission denied

Пользователь "livy" не может создать каталог даже с помощью sudo.Мне нужен этот скрипт для создания каталога, как это сделать?

Answer 1

Пользователь "livy" не имеет разрешения на создание каталогов в EMR.

Но для создания каталогов мы можем использовать скрипт начальной загрузки. Или же, мы можем использовать «Шаги» при создании кластера EMR.

При создании каталогов с помощью начальной загрузки требуются привилегии пользователя sudo.