Ищу аналогичное решение. Мы запускаем защищенные предопределенные конвейеры для каждого проекта, но все же хотим позволить командам разработчиков настраивать определенные шаги в рамках процесса, не предоставляя им полную мощность Jenkinsfile.
Я также изучаю возможность - вашими словами - «самоуверенный YAML» .
Я пока нашел только один пример такой реализации: Wolox-CI поддерживает свои собственные предопределенные шаги сборки через YAML. Вы сможете увидеть поддерживаемые ими шаги здесь .
Я думаю о разборе YAML с помощью Snake YAML. Вот ответ SO с примером того, как это сделать.