Параметры доступа к работе с клеем AWS

Question

У меня есть склеенная работа (Spark job), написанная на Scala, и я хотел бы передать в нее параметры. Я использую лямбда-функцию для запуска работы. Как мне получить доступ к параметрам, переданным в работу?

Это правильный путь?

def main(sysArgs: Array[String]) {

    /** This is input parameter */
   val par = sysArgs(0)

}

Или какой-то другой?

Answer 1

Используйте GlueArgParser для разрешения параметров:

import com.amazonaws.services.glue.util.GlueArgParser

val args = GlueArgParser.getResolvedOptions(
  sysArgs, Array(
    "JOB_NAME",
    "CUSTOM_PARAMETER")
)
val param = args("CUSTOM_PARAMETER")

Обратите внимание, параметры должны быть переданы с префиксом -- (т.е. --CUSTOM_PARAMETER)