Если я правильно понимаю, у вас есть
ModuleB
-> Зависит от LibraryX
ModuleA
-> Зависит от LibraryX
& ModuleB
Вы не хотите добавлять LibraryX в файл Gradle для ModuleA
? Если это так, объявите зависимость для LibraryX
как api
вместо implementation
в файле Gradle ModuleB
Для получения дополнительной информации проверьте это