Нужно ли мне создавать отдельные свечи для каждого варианта использования?

Question

Моя проблема в том, что у меня есть несколько вариантов использования. Например, у меня есть все данные о стране в файле json.

[{
    "name": "Karnatka",
    "capital": "Bengaluru",
    "CM": "Swamy",
    "population": 10000000
},
{
    "name": "Tamilnadu",
    "capital": "Chenaai",
    "CM": "XYZ",
    "population": 200000
},
{
    "name": "Kerala",
    "capital": "Trichi",
    "CM": "ABCD",
    "population": 3000000
}]

Теперь скажите, что у меня есть следующие варианты использования -

• Узнайте наиболее заполненное состояние и напишите в hdfs
• Узнайте прописные буквы каждого штата и напишите в какой-нибудь пользовательский интерфейс
• узнайте главного министра каждого штата и напишите в hdfs

Так что мне нужно собрать отдельный jar для каждого варианта использования, или я могу сделать это в приложении с одной искрой. И как я могу запланировать это приложение в кластере для ежедневного запуска?

Answer 1

Если я правильно понял ваш вопрос, вы ищете SparkJobServer (https://github.com/spark-jobserver/spark-jobserver). С помощью SparkJobServer вы можете динамически отправлять задание Spark через интерфейс REST и получать результат.