JailRoot для DocumentRoot
SafeMode ON для доступа к файлам
только в определенных каталогах
Использование MPM для каждого пользователя для ограничения системы
ресурсы для процесса apache
Установка безопасных настроек php.ini для памяти
предел и max_execution_time
И, как отметил Сагги Малачи, это очень экспериментально, вы должны отслеживать действия на сервере и иметь резервные сценарии, например. cronjobs наблюдает за средней загрузкой, если loadaverage превышает пороговое значение, остановите apache и sendmail.
Другая хорошая идея - скомпилировать свой собственный php и запретить доступ к функциям php, которые могут быть «использованы» вашими пользователями.