Я пытаюсь выделить память для запуска при запуске pyspark из AWS Linux AMI - т.е. передать точные аргументы параметрам driver-memory и executor-memory при вызове pyspark.
Я понимаю, что могу посмотреть на странице Типы экземпляров для готового ответа на Сколько памяти у меня есть на каждом из экземпляров этого кластера EMR? но я хотел бы знать, смогу ли я сделать это («вживую») из самого aws cli, чтобы я мог видеть, сколько я на самом деле работаю после процесса начальной загрузки.
Мне также известна команда free в Linux, но, похоже, она дает мне свободную память только для главного узла, в который я в ssh'd.Мне также известны интерфейсы YARN UI и Hadoop API, но в этом случае я бы хотел проверить это из командной строки, если это возможно.