Есть ли у modsecurity модуль для nginx или Tomcat, который работает без Apache?
Да. Mod-security имеет модули для nginx, IIS и java.
Вы можете найти его здесь