Я согласен с Topbit, что вы должны начать с профилирования кода.
Найдите, в чем проблема.
Не думаю, что проблема в том, что у ZF так много файлов. Он использует автозагрузку, поэтому загружаются только файлы, необходимые на данный момент. Вам определенно не следует разбивать содержимое разных файлов.
Для многих проблем производительности кэширование - ваш друг.