Я считаю, что сервисный подход - это именно то, как opencv достигает этого ... в частности, у OpenCV есть менеджер в магазине приложений. Вы можете разработать приложение, реализующее BaseLoaderCallback, которое получает библиотеку .so от этого менеджера. За кулисами это использует Service, ServiveConnection и aidl, чтобы получить библиотеку ... если память мне не изменяет.
Обновление ...
Теперь, когда я думаю об этом, я думаю, что менеджер OpenCV может просто передавать путь к библиотеке, который затем может быть загружен командой System.load, которая принимает путь к библиотеке.