Нет. Есть некоторые требования, которые вы можете определить в install.rdf - например, хост-приложение (например, Firefox), версия приложения и операционная система. Вы не можете попросить XPInstall искать определенные библиотеки перед установкой вашего расширения. И ваше расширение не станет активным, пока оно не установлено.
Таким образом, вы должны позволить пользователю установить ваше расширение и затем выполнить проверки - предупредить, если есть проблемы. В любом случае вам нужно будет это сделать, что если пользователь установит ваше расширение и после этого удалит необходимую библиотеку?