Я использую Livy REST API для отправки приложения Spark.
{
“file”: <application-jar>,
“className”: “<main-class>”,
“args”: my_args,
“conf”: my_conf
}
my_args = [args1, args2, ...]
my_conf = {'foo1': 'bar1', 'foo2': 'bar2'...}
Я хочу, чтобы my_conf (json секреты) сохранялся в AWS хранилище параметров SSM и использовал его из хранилища параметров, когда мой * Скрипт 1007 * с использованием Livy представляет приложение spark. Как сохранить и получить (получить в python то же самое json) my_conf в / из хранилища параметров?