Мне стало любопытно и я сделал тест.
Для сервера Suns HotSpot 64 jvm в Linux и вложенные циклы, и развернутые циклы были более или менее одинаково быстрыми и почти такими же быстрыми, как итерации по линейному массиву [размер * размер]. Развернутый цикл, где infact медленнее, чем вложенный цикл, возможно потому, что он выполняет больше математики.
Однако в IBM 32-разрядной версии jdk 1.5 в Windows вложенный цикл работает более чем в 10 раз медленнее.
Хотя я не уверен, что в данном случае важен компилятор или jvm, более медленный тест был скомпилирован с использованием IBM RAD, который на год старше Eclipse 3.4
Таким образом, единственная причина, по которой ваш код может быть испорчен этими оптимизациями, заключается в том, что вы застряли на "предприимчивой" платформе со старым jvm и компилятором, и это действительно очень важно по времени.