Да, вы можете. С этим правилом все запрошенные /index.php
будут удалены:
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /index\.php[/?\ ]
RewriteRule ^index\.php(/(.*))?$ /$2 [L,R=301]
Но вам лучше использовать правильные URL-адреса с самого начала, чтобы ваше приложение обслуживало документы, ссылки на которые не содержат /index.php
.