Процессоры, конечно, не созданы равными; у них разные каналы, скорости, кэширование и тому подобное. Очевидное объяснение состоит в том, что является процессором.
Кроме того, общесистемные вещи могут повлиять на обработку - если, скажем, вы обрабатываете изображение, снятое камерой с помощью JNI, размер изображения может зависеть от устройства.
Кроме того, вы должны проверить, измеряете ли вы время нити и время настенных часов; если посмотреть на временные характеристики относительно частей кода, которые являются Java, вы можете увидеть относительное ускорение в Java (например, JIT в Android 2.2), а не замедление в JNI.