Предполагая, что два JAR являются сторонними (не библиотеками платформ), вы должны рассмотреть более сложный этап компиляции и упаковки.Но прежде чем идти по этому пути, проверьте, не входят ли импортируемые вами JAR-файлы в разные формы - в те, которые не встраивают свои зависимости.
В любом случае, сделайте шаг в вашей компиляции, чтобыИзвлеките только те части, которые вам нужны, из каждого JAR.
Если вы не используете сценарии сборки, но используете IDE для всего, настройте сценарий сборки только для создания своих JAR-файлов с зависимостями.