Я работаю над ноутбуками Jupyter, использующими ядро sparkmagic (spark-scala), которое использует Apache Livy для выполнения заданий spark.
В настоящее время я пытаюсь понять варианты создания сеансов с предоставленными пользователемзависимости, т.е. jars.
Я знаю, что в Jupyter я могу сделать что-то вроде:
%%configure -f
{"kind": "spark",
"executorMemory": "2G",
"executorCores": 4,
"jars": ["/path/to/library1.jar",
"/path/to/library2"]}
Но потом я заметил другие варианты в LIVY_HOME/conf/livy.conf, в частности livy.resc.jars и livy.repl.jars, ноЯ полагаю, что описания не очень специфичны, или я не могу найти фактическую разницу между ними.
Я думаю, если они разделены, это для чего-то, но что именно?