Во-первых, отказ от ответственности, я совсем не знаком с Android. Во всяком случае ...
Есть два приложения JIT-компиляции, с которыми я знаком. Одним из них является преобразование из байт-кодов в фактические машинные инструкции. Второй - Супероптимизация .
JIT-компиляция байт-кода ускоряет процесс, потому что байт-коды интерпретируются только один раз, а не каждый раз, когда он выполняется. Вероятно, это та оптимизация, которую вы видите.
JIT superoptimsation, которая ищет действительно оптимальный набор инструкций для реализации логики программ, немного более эзотерична. Вероятно, это не то, о чем вы говорите, хотя я прочитал отчеты о том, что в результате скорость увеличивается на 200%.