Хорошо, разобрался!
Мультидексная библиотека никогда не была частью библиотеки поддержки Android, это была дополнительная библиотека, которую нужно было импортировать в Gradle. Итак, теперь я импортировал его в свой блок зависимостей в файле Gradle моего модуля и установил следующее в моем файле gradle.properties:
# Jetifier automatically updates dependancy binaries
# To swap out support lib for androix
android.enableJetifier=true
Теперь во время компиляции мультидексная зависимость заменяется на реализацию androidx.