Я просто обдумывал это (отсюда и поиск в Google, который привел меня сюда). Мой поиск не дал и рамок.
Если перед запуском вы знаете, что хотите протестировать, это довольно просто (теоретически). При запуске позвоните домой и спросите, должно ли приложение показывать A или B (и отправьте, в какой группе был пользователь, когда вы отправляли результаты).
Скорее всего, приложение выходило в течение недели, и теперь вы хотите начать тестирование вариантов. Вы можете загрузить новую версию, и это не страшная идея. Но если вы не хотите ограничивать себя людьми, которые обновляют ваше приложение, похоже, вы МОЖЕТЕ загружать классы из Интернета и загружать их динамически:
http://developer.android.com/reference/dalvik/system/DexFile.html
http://developer.android.com/reference/dalvik/system/DexClassLoader.html
Конечно, вам нужно знать, что делать с загруженным вами классом. Я предполагаю, что ваше приложение позвонит домой для обновлений, а затем загрузит и файл dex, и файл описания, в котором указано, какой класс оно должно заменить.
Я сам не пробовал это. Что бы вы ни делали с этим, я чувствую, что это не будет простым.