Если ваш веб-сервер обслуживает только веб-страницы и не разрешает доступ через (например, анонимный FTP), то неправильные разрешения на файлы не позволяют пользователям удалять файлы.
Если другие люди имеют доступ к вашему серверу другими способами (например, SSH), убедитесь, что бит записи не установлен для пользователей, кроме вас. Выполнение:
find . -exec chmod go-w {} \;
Эта команда ограничит права всех файлов и каталогов, в которых она выполняется.