Вам не нужно каждый раз импортировать библиотечный модуль.Сделайте вашу библиотеку одним из модулей и свяжите зависимость между приложением и библиотекой.
Убедитесь, что библиотека указана в верхней части вашего файла settings.gradle, как показано здесь для библиотеки с именем "my-library"-module ":
include ':app', ':my-library-module'
Откройте файл build.gradle модуля приложения и добавьте новую строку в блок зависимостей, как показано в следующем фрагменте:
dependencies {
implementation project(":my-library-module")
}
И выполните сборку с помощью командылинии.
gradlew assembleDebug
https://developer.android.com/studio/projects/android-library