Попробуйте ленивую загрузку, чтобы библиотека загружалась эффективно только тогда, когда она действительно необходима, то есть непосредственно перед вызовом некоторых из ее методов.
1) В зависимости от сложности вашей логики определение компонента как @Lazyможет помочь.
2) Если это не ваш случай, ручная реализация отложенной загрузки может помочь. Например, вы можете использовать прокси, который будет загружать библиотеку только при первом вызове одного из ее методов.
3) Может потребоваться некоторая переделка логики вашего приложения, чтобы отложить использование кода, загружающегобиблиотека.