Я думаю, что они говорят не о том, что вся программа помещается в кэш L1, а о том, что весь код, который выполняется большую часть времени, помещается в кэш L1.
Да, ОС выделяет множество других структур, но они поражаются достаточно редко, чтобы не иметь значения.
Конечно, это все домыслы - я ничего не знаю о языке 'K'.