Один простой способ сделать это - установить Gradle в контейнер Docker, тогда все, что вам нужно, это исходный код, как обычно.
Если вам действительно нужно создать JAR, убедитесь, что возможный. Как вы сказали, переместите зависимости каратэ из области действия test
и сделайте все под src/main/
.
Для примеров других, которые сделали что-то подобное [(Maven, но вы можете сделать подобные изменения в Gradle) пожалуйста, посмотрите эту тему: https://github.com/intuit/karate/issues/529