JAR сам по себе не способен вкладывать другие JAR-файлы, как вы обнаружили.
Традиционно можно распространять ZIP-архив или другой установщик, который будет разматывать JAR приложения (ваш), а также любые вспомогательные JARв соответствующем месте для доступа к classpath.Тогда часто приложение вызывалось через скрипт, который вызывал основной JAR и создавал classpath, в котором перечислены вспомогательные JAR.
Как отмечали другие авторы, у вас есть несколько вариантов создания супер-JAR, если эточто хочешь.