Проверьте файл build.gradle
вашего приложения, вы найдете строку, подобную этой, которая отвечает за включение файла jar в каталог libs:
api fileTree(include: ['*.jar'], dir: 'libs')
Вы можете просто клонировать и изменить его, чтобы он не соответствовал библиотеке, которую вы хотите исключить:
api fileTree(include: ['a*.jar'], dir: 'libs')
api fileTree(include: ['b*.jar'], dir: 'libs')
Или вы даже явно указываете библиотеки, которые хотите включить:
api fileTree(include: ['lib1.jar'], dir: 'libs')
api fileTree(include: ['lib2.jar'], dir: 'libs')