Весь код .NET (MSIL) должен быть выполнен в JIT-формате (скомпилирован в собственный код), прежде чем его можно будет выполнить.
Возможно, вы имеете в виду тот факт, что после JIT-кода он кэшируется. Накладные расходы JIT'ing происходят только один раз. Если вы хотите выполнить тест без использования JIT, вам придется «подогреть» свой тест или, возможно, использовать NGEN для постоянной компиляции MSIL.